CN107645543A - 应用于缓存服务器http非80缓存端口服务的方法和系统 - Google Patents

Abstract

本发明属于互联网通信的技术领域，为了解决现有技术中存在的缓存服务器需要监听较多端口的技术问题，本发明提供一种应用于缓存服务器HTTP非80缓存端口服务的方法和系统；所述方法包括：S1、将目的端口为非当前监听的80端口的报文的目的端口通过端口重定向模块进行目的端口重定向，映射转发到缓存服务器的80端口；S2、开启缓存服务器中的缓存模块并监听系统的80端口；S3、对于到达缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存，将缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存不存在的URL资源，缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

Description

应用于缓存服务器HTTP非80缓存端口服务的方法和系统

技术领域

本发明涉及互联网通信的技术领域，尤其涉及一种应用于缓存服务器HTTP非80缓存端口服务的方法和系统。

背景技术

在基于互联网的服务端口，通常HTTP协议是承载在80端口上的，比如：http://www.baidu.com是由80端口进行服务的；但是服务端口也可以自定义，比如：http://www.example.com:8080/、http://www.example.com:8081/等；这些服务端口的使用不统一不规范，是的程序员常常使用非常规的80端口作为http的服务端口，如：8080、8080等端口。

在发明人实现本发明之前，实现HTTP非80端口加速的方法通常包括：1、查找分析域名使用HTTP非80端口的范围，比如：8080端口，8081端口；2、在缓存服务器上面打开CacheServer对8080端口，8081端口的监听，进行HTTP非80端口域名的服务。

但是实现上述技术方案至少存在以下不足中的一种：

1、Cache Server(缓存服务器)打开的监听端口较多，额外消耗的内存、CPU较多，导致Server的整理服务能力下降；

2、由于人员分析的有限，导致域名端口打开不全；例如：www.ymm56.com有8080端口(HTTP协议可以承载在任何自定义的端口上面进行传输，如果定义的8080端口进行服务，那么这个域名请求就是：http://www.ymm56.com:8080)，但是同时可能也会有5661等特殊端口；如果Cache Server(缓存服务器)只打开常见的8080端口监听，上网用户在访问www.ymm56.com:5661时就无法正常提供服务。

发明内容

为了解决现有技术中存在的缓存服务器需要监听较多端口和端口打开不全的技术问题，本发明提供一种应用于缓存服务器HTTP非80缓存端口服务的方法和系统，能够降低服务器资源需求，而且可以加速所有网站下HTTP非80端口的域名。

为了实现上述目的，本发明提供的技术方案包括：

一方面，提供一种应用于缓存服务器HTTP非80缓存端口服务的方法，其特征在于，包括：

S1、在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过端口重定向模块进行目的端口重定向，映射转发到所述缓存服务器的80端口；

S2、开启所述缓存服务器中的缓存模块并监听系统的80端口；对于直接访问80端口和通过内核所述链表处理过的数据报文进行TCP握手和数据传输响应；

S3、对于到达所述缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存，将所述缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存不存在的URL资源，所述缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

本发明实施例优选地，所述步骤S1中的链表为的内核prerouting链表，所述prerouting链对于进来的数据包应用所述prerouting链中的策略进行预处理。

本发明实施例优选地，所述步骤S3中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议传输返回给上网请求用户；当检查请求的URL在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL；待所述缓存模块获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

本发明实施例优选地，所述缓存服务器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

本发明实施例优选地，所述缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。

本发明另一方面，提供一种应用于缓存服务器HTTP非80缓存端口服务的系统，其特征在于，包括：

设置在缓存服务器端口中的映射重定向模块，在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过所述端口重定向模块进行目的端口重定向，映射转发到所述缓存服务器的80端口；

监控处理模块，用于开启所述缓存服务器中的缓存模块并监听系统的80端口；对于直接访问80端口和通过内核所述链表处理过的数据报文进行TCP握手和数据传输响应；

缓存处理模块，设置成对于到达所述缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存，将所述缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存不存在的URL资源，所述缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

本发明实施例优选地，所述缓存服务器中链表为的内核prerouting链表，所述prerouting链对于进来的数据包应用所述prerouting链中的策略进行预处理。

本发明实施例优选地，所述缓存处理模块中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议传输返回给上网请求用户；当检查请求的URL在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL内容；待所述缓存模块获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

本发明实施例优选地，所述系统还包括网络连接控制器，所述网络连接控制器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

本发明实施例优选地，所述缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。

采用本申请提供的上述技术方案，可以至少获得以下有益效果中的一种：

1、缓存模块不需要监听非常多的tcp端口而是伴随请求进行建立和释放，避免由于无法发现需要监听大量TCP端口，浪费资源。

2、对于HTTP非80网站服务方面，可以服务HTTP域名下任意的端口，可以在不增加资源的情况下，还能实现更加全面的监控。

发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

图1为本发明实施例提供的一种应用于缓存服务器HTTP非80缓存端口服务方法的流程图。

图2为本发明实施例提供的一种应用于缓存服务器HTTP非80缓存端口服务的示意框图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，这些具体的说明只是让本领域普通技术人员更加容易、清晰理解本发明，而非对本发明的限定性解释；并且只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组控制器可执行指令的控制系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

下面通过附图和具体实施例，对本发明的技术方案进行详细描述：

实施例

如图2所示，本实施例提供一种应用于缓存服务器HTTP非80缓存端口服务的方法，该方法可以应用于WebCache(运营商缓存的一种统称，又称为Cache、融合CDN、Cache系统等)，CDN(Content Delivery Network，内容分发网络，是指将CP(内容提供商)的内容分发到离网民最近的位置为网民提供服务的一种产品)的技术领域，尤其是提供了一种在WebCache正向缓存领域及CDN下对缓存服务器环节，对采用非80端口HTTP协议域名下内容进行代理及缓存的服务方法；该方法包括：

S1、在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过端口重定向模块进行目的端口重定向，映射转发到缓存服务器的80端口。

映射重定向模块通过映射的方式，将某个指定(预定)端口的访问链接通过映射的方式，重新定向至另一个指定(预定)端口，例如，当用户通过某个端口(尤其是非80缓存端口)经过缓存服务器访问网络时，可以自动按照预定的映射关系重定向至80缓存端口；本实施例提及的80端口是为HTTP(HyperText Transport Protocol，即超文本传输协议)开放的，为上网冲浪使用次数最多的协议，主要用于WWW(World Wide Web)即万维网传输信息的协议，可以通过HTTP地址(即常说的“网址”)加“:80”来访问网站，因为浏览网页服务默认的端口号都是80，因此只需输入网址即可，不用输入“:80”了。而缓存服务器的内核链表能够将进入系统(即运营上提供的包括上述缓存服务器构成的网络系统)的报文，按照标准的HTTP网络协议或者运营商自定义的协议格式，将接收到的报文进行预处理，并将目的端口为非当前监听端口的报文的目的端口进行目的端口重定向，将其他非80端口的访问请求，映射转发到缓存服务器的80端口，这样就只需要对80端口进行监控预处理，就能使得其他端口的访问请求也能得到及时的处理。本实施例提及的缓存模块就是数据交换的缓冲区(称作Cache)，当某一硬件要读取数据时，会首先从缓存中查找需要的数据，如果找到了则直接执行，找不到的话则从内存中找，由于缓存的运行速度比内存快得多，故缓存的作用就是帮助硬件更快地运行。

S2、开启缓存服务器中的缓存模块并监听系统的80端口；对于直接访问80端口和通过内核链表处理过的数据报文进行TCP(Transmission Control Protocol传输控制协议)握手和数据传输响应。即开启缓存服务器中已有的缓存模块，并监听系统(即运营上提供的包括上述缓存服务器构成的网络系统)的80端口，监听的方式按照标准的HTTP网络协议或者运营商自定义的协议格进行监听；不仅对直接访问80端口，而且对于通过核链表处理过的数据报文(将非80端口映射重定向至80端口)都按照监控到有访问请求的方式进行响应。

S3、对于到达缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存(即URL链接对应的资源是否在缓存服务器本地有缓存)，将缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存(即缓存服务器中存储区域)不存在的URL资源，缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。即对于到达缓存模块的报文，缓存模块对于发起的请求中的URL对应的内容，是否已经在缓存模块中存在，如果存在按照第一模式执行，直接响应访问请求，如果不存在，执行第二种模式，进一步获取访问请求对应的内容，然后再响应访问请求；优选地，在第二种模式的情况下，可以先对访问返回请求回复一个提示，缓存中暂时未找到相关内容，需要进一步获取，使得对访问请求的交互能够及时，提高用户使用的友好性。

本实施例优选地，步骤S1中的链表为的内核prerouting链表，prerouting链对于进来的数据包应用prerouting链中的策略进行预处理；并且prerouting链表可以定义进行NAT(Network Address Translation，网络地址转换)规则。并且内核链表包括prerouting链、input链、forward链、postrouting链、output链；prerouting链对于进来的数据包应用此规则链中的策略(所有的数据包进来的时侯都先由这个链处理)，input链对于外出的数据包应用此规则链中的，forward链对于转发数据包时应用此规则链中的策略，postrouting链对于数据包作路由选择前应用此链中的规则，output链对数据包作路由选择后应用此链中的规则。

本实施例优选地，步骤S3中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议(TransmissionControl Protocol，传输控制协议)传输返回给上网请求用户；当检查请求的URL(UniformResoure Locator，统一资源定位器)在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS(Domain Name System，域名系统)解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL；待缓存模块获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

本实施例优选地，缓存服务器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

本实施例优选地，缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。

如图2所示，本实施例还提供一种应用于缓存服务器HTTP非80缓存端口服务的系统，该系统同样是可以应用于WebCache(营商缓存的一种统称，又称为Cache、融合CDN、Cache系统等)，CDN(Content Delivery Network，内容分发网络，是指将CP(内容提供商)的内容分发到离网民最近的位置为网民提供服务的一种产品)的技术领域，尤其是提供了一种在Web Cache正向缓存领域及CDN下对缓存服务器环节，该系统实现对采用非80端口HTTP协议域名下内容进行代理及缓存的服务；webcache平台，是通过技术手段经过dns调度将区域内部的网站访问请求调度到缓存设备平台并进行缓存服务的一套系统；在此套系统中，同一个域名会包含80服务、8080服务等各种端口承载http请求；本实施例提供的用于缓存服务器HTTP非80缓存端口服务的系统，在webcache平台(营商缓存的一种统称，又称为Cache、融合CDN、Cache系统等)上将非80端口的请求指向到80端口上，目前在webcache项目上进行实施，将所有非80的http业务进行服务，通过映射重定向，转换为80端口，然后通过对80端口的监控，实现本申请的目的；该系统包括：

设置在缓存服务器100(一个或者多个)端口110(包括80端口和非80端口)中的映射重定向模块112，在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过端口重定向模块112进行目的端口重定向，映射转发到缓存服务器的80端口；

映射重定向模块112通过映射的方式，将某个指定(预定)端口的访问链接通过映射的方式，重新定向至另一个指定(预定)端口，例如，当用户通过某个端口(尤其是非80缓存端口)经过缓存服务器访问网络时，可以自动按照预定的映射关系重定向至80缓存端口；本实施例提及的80端口是为HTTP(HyperText Transport Protocol，即超文本传输协议)开放的，为上网冲浪使用次数最多的协议，主要用于WWW(World Wide Web)即万维网传输信息的协议，可以通过HTTP地址(即常说的“网址”)加“:80”来访问网站，因为浏览网页服务默认的端口号都是80，因此只需输入网址即可，不用输入“:80”了。而缓存服务器的内核链表能够将进入系统(即运营上提供的包括上述缓存服务器构成的网络系统)的报文，按照标准的HTTP网络协议或者运营商自定义的协议格式，将接收到的报文进行预处理，并将目的端口为非当前监听端口的报文的目的端口进行目的端口重定向，将其他非80端口的访问请求，映射转发到缓存服务器的80端口，这样就只需要对80端口进行监控预处理，就能使得其他端口的访问请求也能得到及时的处理。本实施例提及的缓存模块就是数据交换的缓冲区(称作Cache)，当某一硬件要读取数据时，会首先从缓存中查找需要的数据，如果找到了则直接执行，找不到的话则从内存中找，由于缓存的运行速度比内存快得多，故缓存的作用就是帮助硬件更快地运行。

监控处理模块124，用于开启缓存服务器中的缓存模块130并监听系统的80端口；对于直接访问80端口和通过内核链表处理过的数据报文进行TCP握手和数据传输响应；

缓存处理模块122，设置成对于到达缓存模块130的报文，缓存模块130对于发起的HTTP请求的URL，基于URL检查设备本地是否已经有内容缓存(即URL链接对应的资源是否在缓存服务器本地有缓存)，将缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存(即缓存服务器中存储区域)不存在的URL资源，缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

本实施例优选地，缓存服务器中链表为的内核prerouting链表，prerouting链对于进来的数据包应用prerouting链中的策略进行预处理；并且prerouting链表可以定义进行NAT(Network Address Translation，网络地址转换)规则。并且内核链表包括prerouting链、input链、forward链、postrouting链、output链；prerouting链对于进来的数据包应用此规则链中的策略，input链对于外出的数据包应用此规则链中的，forward链对于转发数据包时应用此规则链中的策略，postrouting链对于数据包作路由选择前应用此链中的规则，output链对数据包作路由选择后应用此链中的规则

本实施例优选地，缓存处理模块中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议传输返回给上网请求用户；当检查请求的URL在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL内容；待缓存模块112获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

本实施例优选地，系统还包括网络连接控制器，网络连接控制器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

本实施例优选地，缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。

采用本申请提供的上述技术方案，可以至少获得以下有益效果中的一种：

1、缓存模块不需要监听非常多的TCP端口而是伴随请求进行建立和释放，避免由于无法发现需要监听大量TCP端口，浪费资源。

2、对于HTTP非80网站服务方面，可以服务HTTP域名下任意的端口，可以在不增加资源的情况下，还能实现更加全面的监控。

最后需要说明的是，上述说明仅是本发明的最佳实施例而已，并非对本发明做任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围内，都可利用上述揭示的做法和技术内容对本发明技术方案做出许多可能的变动和简单的替换等，这些都属于本发明技术方案保护的范围。

Claims (10)

1.一种应用于缓存服务器HTTP非80缓存端口服务的方法，其特征在于，包括：

S1、在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过端口重定向模块进行目的端口重定向，映射转发到所述缓存服务器的80端口；

S2、开启所述缓存服务器中的缓存模块并监听系统的80端口；对于直接访问80端口和通过内核所述链表处理过的数据报文进行TCP握手和数据传输响应；

S3、对于到达所述缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存，将所述缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存不存在的URL资源，所述缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的链表为的内核prerouting链表，所述prerouting链对于进来的数据包应用此所述prerouting链中的策略进行预处理。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议传输返回给上网请求用户；当检查请求的URL在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL；待所述缓存模块获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

4.根据权利要求1所述的方法，其特征在于，所述缓存服务器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

5.根据权利要求1-4中任意一种所述的方法，其特征在于，所述缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。

6.一种应用于缓存服务器HTTP非80缓存端口服务的系统，其特征在于，包括：

设置在缓存服务器端口中的映射重定向模块，在缓存服务器的内核链表中，对进入系统的报文进行预处理，将目的端口为非当前监听的80端口的报文的目的端口通过所述端口重定向模块进行目的端口重定向，映射转发到所述缓存服务器的80端口；

监控处理模块，用于开启所述缓存服务器中的缓存模块并监听系统的80端口；对于直接访问80端口和通过内核所述链表处理过的数据报文进行TCP握手和数据传输响应；

缓存处理模块，设置成对于到达所述缓存模块的报文，缓存模块对于发起的HTTP请求的URL，基于URL查询设备本地是否已经有内容缓存，将所述缓存内容按照预定的操作规则，提供给上网请求用户；并且对于本地缓存不存在的URL资源，所述缓存服务器本身跟源站建立TCP连接获取资源，然后将获取到资源进行存储并返回给用户。

7.根据权利要求6所述的系统，其特征在于，所述缓存服务器中链表为的内核prerouting链表，所述prerouting链对于进来的数据包应用所述prerouting链中的策略进行预处理。

8.根据权利要求6所述的系统，其特征在于，所述缓存处理模块中的预定操作规则包括：当检查请求的URL在设备本地是否已经有内容缓存，如果已经有则直接从硬盘中将资源提取，通过TCP协议传输返回给上网请求用户；当检查请求的URL在设备本地是否有内容缓存，如果没有，则将上网请求用户请求过来的报文进行组装为包括域名的格式，并通过DNS解析获取到包括域名的格式对应的IP地址，然后向此IP地址请求组装成功的URL内容；待所述缓存模块获取到内容之后，根据目标IP返回内容的HTTP的报文头信息对内容进行处理分析，将内容存储到本地一份并将内容同时提供给上网请求用户。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括网络连接控制器，所述网络连接控制器根据访问请求有上网用户请求的时候进行端口资源分配使用，请求结束之后收回资源分配。

10.根据权利要求6-9中任意一种所述的系统，其特征在于，所述缓存服务器用来将网民访问的内容缓存到离网民最近的服务器上，后续的网民再访问此内容，则缓存服务器直接将自己的内容复制直接发送给网民。