CN108418847B - 一种网络流量缓存系统、方法及装置 - Google Patents

一种网络流量缓存系统、方法及装置 Download PDF

Info

Publication number
CN108418847B
CN108418847B CN201710071451.8A CN201710071451A CN108418847B CN 108418847 B CN108418847 B CN 108418847B CN 201710071451 A CN201710071451 A CN 201710071451A CN 108418847 B CN108418847 B CN 108418847B
Authority
CN
China
Prior art keywords
data packet
request message
forwarding
flow table
webpage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710071451.8A
Other languages
English (en)
Other versions
CN108418847A (zh
Inventor
盛帅军
陈清
叶文婷
贺青
周伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Gansu Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Gansu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Gansu Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201710071451.8A priority Critical patent/CN108418847B/zh
Publication of CN108418847A publication Critical patent/CN108418847A/zh
Application granted granted Critical
Publication of CN108418847B publication Critical patent/CN108418847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

本申请涉及网络技术领域，尤其涉及一种网络流量缓存系统、方法及装置，用以解决现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下的问题；本申请实施例提供的网络流量缓存方法，包括：核心路由器在转发承载网页请求消息的IP数据包时，将IP数据包与预先配置的策略路由进行匹配；若匹配，则将IP数据包转发给SDN交换机，以便由SDN交换机确定响应网页请求消息的方式；其中，响应网页请求消息的方式为由WEB网站服务器响应网页请求消息，或由透明代理缓存服务器响应网页请求消息；若不匹配，则将IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应网页请求消息。

Description

一种网络流量缓存系统、方法及装置
技术领域
本申请涉及网络技术领域，尤其涉及一种网络流量缓存系统、方法及装置。
背景技术
随着计算机网络技术的飞速发展，在计算机网络中大量部署了Web缓存服务器，有效地加快了用户的访问速率，缓解了网页服务器(Web Server)的处理压力。
现有互联网Web缓存部署方式主要有反向代理缓存方案和透明代理缓存方案，其中，
方案一：反向代理缓存方案遵循超文本传输协议(Hyper Text TransferProtocol，HTTP)，其关键技术点在于域名系统(Domain Name System，DNS)服务器在接收到浏览器发来的域名解析请求后，响应Web缓存服务器的IP地址给浏览器，以便浏览器和Web缓存服务器建立起传输控制协议(Transmission Control Protocol，TCP)连接。Web缓存服务器在接收到浏览器基于TCP连接发来的HTTP请求后，可以代理浏览器向网页服务器发起HTTP请求并将网页服务器响应的HTTP请求内容转发给浏览器，同时缓存HTTP请求内容，以备响应后续的HTTP请求。
上述反向代理缓存方案普遍适用于大型内容提供商(Content Provide，CP)网络环境中，但若应用在运营商网络环境下，会存在以下问题：
由于目前互联网网站大量采用超文本传输安全协议(Hyper Text TransferProtocol over Secure Socket Layer，HTTPS)提供Web服务，其中，HTTPS协议要求通信双方需要具备数字证书来进行身份认证，并需要通过相关的加密算法对传输的数据进行双向加密。但由于运营商无法获取到用户的相关证书以及密钥，因此，对于采用HTTPS协议的网站内容，运营商无法采用反向代理缓存方式来进行代理和缓存服务，并且还需手工分析网页服务器的相关域名对应的网页内容是否可引入缓存，以避免将采用HTTPS协议的相关域名对应的网页内容引入缓存。此外，网页服务器一般同时开启TCP 80端口、443端口来分别提供HTTP、HTTPS协议的互联网服务，在这种场景下，采用反向代理缓存方案也无法对该网页服务器对应的IP地址下的TCP 80端口HTTP协议承载的网页内容进行代理和缓存服务。
方式二：透明代理缓存方案也遵循HTTP协议，其关键技术点在于将Web缓存服务器部署在网络出口或者网络关键节点位置，用于监控并挟持所有TCP 80端口流量。具体地，在浏览器向网页服务器发起TCP连接请求之后，Web缓存服务器强制劫持TCP连接请求，与浏览器建立TCP连接。并且Web缓存服务器通过劫持浏览器向网页服务器发送的HTTP请求，可以代理浏览器向网页服务器发起HTTP请求并将网页服务器响应的HTTP请求内容转发给浏览器，同时缓存HTTP请求内容，以备响应后续的HTTP请求。
上述透明代理缓存方案普遍适用于大型企业网网络环境中，但若应用在运营商网络环境下，也会存在以下问题：
由于透明代理缓存方案中，Web缓存服务器需监控并劫持所有TCP 80端口的流量，而在互联网中实际存在少量TCP 80端口承载了部分非HTTP协议流量，采用这种全量接管的方式将导致非HTTP协议流量承载业务异常。此外，由于Web缓存服务器仅对HTTP协议明确可以缓存的内容开展缓存，对于不能缓存的内容只能提供代理服务。这种只可代理不能缓存的内容一般称为动态内容，若Web缓存服务器全量劫持TCP 80端口的流量中存在动态内容，则这些动态内容会大量占用Web缓存服务器资源，导致整体的加速效果下降。由于在运营商网络环境中用户访问流量较大，对服务的可靠性要求较高，考虑到上述缺陷，透明代理缓存方案并不适用于运营商网络环境中。
基于此，现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下。
发明内容
本申请实施例提供一种网络流量缓存系统、方法及装置，用以解决现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下的问题。
本申请实施例提供的一种网络流量缓存系统，包括：核心路由器、软件定义网络(Software Defined Network，SDN)交换机、透明代理缓存服务器、互联网WEB网站服务器；其中，
所述核心路由器，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配，若匹配，则将所述IP数据包转发给所述SDN交换机；若不匹配，则将所述IP数据包转发给所述WEB网站服务器；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
所述SDN交换机，用于在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由所述WEB网站服务器响应所述网页请求消息，或由所述透明代理缓存服务器响应所述网页请求消息；
所述透明代理缓存服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有所述网页请求消息所请求的网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的；
所述WEB网站服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。
本申请实施例提供的一种网络流量缓存方法，包括：
核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
若匹配，则所述核心路由器将所述IP数据包转发给软件定义网络SDN交换机；
所述SDN交换机在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
若不匹配，则所述核心路由器将所述IP数据包转发给所述WEB网站服务器；
所述WEB网站服务器在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。
本申请又一实施例提供的一种网络流量缓存方法，包括：
核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
若匹配，则将所述IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
若不匹配，则将所述IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息。
本申请又一实施例提供的一种网络流量缓存方法，包括：
软件定义网络SDN交换机确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息。
本申请实施例提供的一种网络流量缓存装置，包括：
处理模块，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
发送模块，用于将与所述策略路由相匹配的IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；将与所述策略路由不匹配的IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息。
本申请又一实施例提供的一种网络流量缓存装置，包括：
第一确定模块，用于确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
第二确定模块，用于基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息。
本申请实施例中，核心路由器可以在转发承载网页请求消息的IP数据包时，将IP数据包与预先配置的策略路由进行匹配，并且策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包，这样，若IP数据包与预先配置的策略路由相匹配，则将IP数据包转发给SDN交换机；若IP数据包与预先配置的策略路由不匹配，则将IP数据包转发给WEB网站服务器，从而解决了由于在运营商网络环境下反向代理缓存方案无法对HTTPS协议的网站内容提供缓存和代理服务，导致还需要手工分析网页服务器的相关域名对应的网页内容是否可引入缓存的问题，以及在网页服务器同时开启TCP80端口、TCP443端口来分别提供HTTP、HTTPS协议的互联网服务的场景下，无法对该网页服务器的IP地址下的TCP 80端口HTTP协议承载的网页内容执行代理和缓存服务的问题。
并且，SDN交换机在转发匹配策略路由的IP数据包时，基于IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应IP数据包所承载的网页请求消息的方式，进而将适合提供缓存服务的网页请求消息转发给透明代理缓存服务器，由透明代理缓存服务器响应网页请求消息，将不适合提供缓存服务的网页请求消息转发给WEB网站服务器，由WEB网站服务器响应网页请求消息，从而规避了透明代理缓存方案中全量接收TCP 80端口流量导致影响该端口下实际少量非HTTP协议流量承载的业务异常的问题，以及由于访问的动态内容大量占用网页缓存服务器资源，导致系统整体的加速效果不佳的问题。
由此可见，本申请实施例提供的网络流量缓存系统、方法及装置，克服了透明代理缓存方案以及反向代理缓存方案无法有效适用于运营商网络环境下的局限，能够适用于运营商通过网页缓存服务器来提供互联网缓存加速服务的场景下，同时，相比于现有技术中透明代理缓存方案以及反向代理缓存方案，其针对网页访问过程的加速效果更为明显。
附图说明
图1为本申请实施例一提供的网络流量缓存系统的组网示意图；
图2为本申请实施例二提供的网络流量缓存方法流程图；
图3为本申请实施例三提供的网络流量缓存方法流程图；
图4为本申请实施例四提供的网络流量缓存方法流程图；
图5为本申请实施例五提供的网络流量缓存装置结构图；
图6为本申请实施例六提供的网络流量缓存装置结构图。
具体实施方式
本申请实施例中，核心路由器可以在转发承载网页请求消息的IP数据包时，将IP数据包与预先配置的策略路由进行匹配，并且策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包，这样，若IP数据包与预先配置的策略路由相匹配，则将IP数据包转发给SDN交换机；若IP数据包与预先配置的策略路由不匹配，则将IP数据包转发给WEB网站服务器，从而解决了由于在运营商网络环境下反向代理缓存方案无法对HTTPS协议的网站内容提供缓存和代理服务，导致还需要手工分析网页服务器的相关域名对应的网页内容是否可引入缓存的问题，以及在网页服务器同时开启TCP 80端口、TCP443端口来分别提供HTTP、HTTPS协议的互联网服务的场景下，无法对该网页服务器的IP地址下的TCP 80端口HTTP协议承载的网页内容执行代理和缓存服务的问题。
并且，SDN交换机在转发匹配策略路由的IP数据包时，基于IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应IP数据包所承载的网页请求消息的方式，进而将适合提供缓存服务的网页请求消息转发给透明代理缓存服务器，由透明代理缓存服务器响应网页请求消息，将不适合提供缓存服务的网页请求消息转发给WEB网站服务器，由WEB网站服务器响应网页请求消息，从而规避了透明代理缓存方案中全量接收TCP 80端口流量导致影响该端口下实际少量非HTTP协议流量承载的业务异常的问题，以及由于访问的动态内容大量占用网页缓存服务器资源，导致系统整体的加速效果不佳的问题。
由此可见，本申请实施例提供的网络流量缓存系统、方法及装置，克服了透明代理缓存方案以及反向代理缓存方案无法有效适用于运营商网络环境下的局限，能够适用于运营商通过网页缓存服务器来提供互联网缓存加速服务的场景下，同时，相比于现有技术中透明代理缓存方案以及反向代理缓存方案，其针对网页访问过程的加速效果更为明显。
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
如图1所示，为本申请实施例一提供的网络流量缓存系统的组网示意图，该网络流量缓存系统可应用于运营商网络环境中，其主要组成设备有核心路由器、SDN交换机、透明代理缓存服务器，WEB网站服务器、深度包检测(Deep Packet Inspection，DPI)流量分析器、SDN控制器、缓存日志分析服务器以及管理平台；其中，
核心路由器除具备基本的路由功能外，还具备有策略路由功能，即在转发承载网页请求消息的IP数据包时，将IP数据包与预先配置的策略路由进行匹配，若匹配，则将IP数据包转发给SDN交换机；若不匹配，则将IP数据包转发给WEB网站服务器。这里，预先配置的策略路由仅匹配具有指定的IP地址信息且承载TCP端口号为80的IP数据包。
进一步地，SDN交换机在转发匹配策略路由的IP数据包时，在转发匹配所述策略路由的IP数据包时，可以基于IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应IP数据包所承载的网页请求消息的方式；其中，响应网页请求消息的方式可以为由WEB网站服务器响应网页请求消息，或由透明代理缓存服务器响应所述网页请求消息。这里，预先配置的转发流表为SDN控制器预先发送给SDN交换机的，并且为SDN控制器根据不可缓存IP地址清单动态生成的，用于指示SDN交换机确定IP数据包的下一跳转发地址。
在具体实施中，SDN交换机在转发匹配策略路由的IP数据包时，可以将IP数据包与SDN控制器下发的转发流表进行匹配，若匹配，则将IP数据包通过第一端口转发给核心路由器，由核心路由器将该IP数据包转发给WEB网站服务器，并由WEB网站服务器响应IP数据包所承载的网页请求消息；若不匹配，则将IP数据包通过第二端口转发给透明代理缓存服务器，后续透明代理缓存服务器在接收到该IP数据包之后，可以响应该IP数据包所承载的网页请求消息，具体地，透明代理缓存服务器可以预先从WEB网站服务器中获取相关网页内容并进行缓存，后续，在接收到客户端发来的网页请求消息之后，可以将携带已缓存的网页内容的网页资源响应消息发送给客户端。此外，在实际应用中，透明代理缓存服务器在接收到网页请求消息之后，也可以只代理转发，即将该网页请求消息转发给网页缓存服务器来请求相关网页内容，并接收网页缓存服务器响应的网页内容。
另外，透明代理缓存服务器还用于从接收到的IP数据包中获取承载的协议类型为非超文本传输协议HTTP协议的IP数据包所携带的目的IP地址信息；基于获取到的目的IP地址信息，生成承载非HTTP协议的IP数据包的目的IP地址清单并发送给SDN控制器。
在本申请实施例所提供的系统中，SDN控制器具备人工设置控制策略接口，该人工设置控制策略接口可以用于接收管理平台发来的由人工配置的IP地址黑白名单。其中，IP地址黑名单中记录有不可访问透明代理缓存服务器的IP地址信息，IP地址白名单中记录有允许访问透明代理缓存服务器的IP地址信息，并且，所有公网IP地址信息均可纳入IP地址白名单中。
SDN控制器还具备软件接口，用于接收缓存日志分析服务器发来的缓存日志分析结果，这里，缓存日志分析结果是缓存日志分析服务器通过分析网页缓存服务器发来的缓存运行日志(其中，缓存运行日志中记录有处理及响应网页请求消息的过程信息)得到的，并且缓存日志分析结果中具体可以包括：同一域名下单日发起GET请求的次数、单日发起POST请求的次数、图片资源请求次数、音视频资源请求次数、静态文本资源请求次数、动态文本资源请求次数等。
进一步地，SDN控制器可以基于接收的缓存日志分析结果、承载非HTTP协议的IP数据包的目的IP地址清单、IP地址黑白名单、确定不可缓存IP地址清单，基于不可缓存IP地址清单，生成转发流表并下发给SDN交换机。
列举一种SDN控制器转发流表的生成策略，即SDN控制器接收透明代理缓存服务器发送的承载非HTTP协议的IP数据包的目的IP地址清单，并将该IP地址信息记录在不可缓存IP地址清单中。进一步地，SDN控制器分析接收到的缓存日志分析结果，针对某一域名信息，若判定出该域名信息对应的网页请求消息中，单日内GET请求次数比例低于30％，或单日内POST请求次数比例高于70％，则可将该域名信息对应的IP地址记录在不可缓存IP地址清单中。进一步地，SDN控制器根据接收到的IP地址黑白名单，可以将IP地址黑名单中记录的IP地址记录在不可缓存IP地址清单中。其中，SDN控制器基于缓存日志分析结果来判定域名对应的IP地址信息是否被纳入不可缓存IP地址清单的策略仅作为参考。比如，SDN控制器根据缓存日志分析结果指定策略时，还可以针对某一域名信息，若判定出该域名信息对应的网页请求消息中，单日内静态文本资源请求次数的比例低于30％，或单日内动态文本资源请求次数比例高于70％，则可将该域名信息对应的IP地址记录在不可缓存IP地址清单中。
这里，SDN控制器作为一个物理服务器，包括SDN业务应用程序和SDN开源软件控制器(可采用标准开源软件控制器)，其中，可以由SDN业务应用程序接收上述缓存日志分析结果、承载非HTTP协议的IP数据包的目的IP地址清单以及IP地址黑白名单，并综合分析生成不可缓存IP地址清单。后续，可以调用SDN控制器的北向接口，控制SDN开源软件控制器基于上述不可缓存IP地址清单，生成转发流表，并将生成的转发流表经由SDN控制器的南向接口下发给SDN交换机，其中，转发流表用于指示SDN交换机实时控制接收到的网页请求消息的下一跳转发地址，以便SDN交换机将适宜提供缓存服务的网页请求消息转发给透明代理缓存服务器，由透明代理缓存服务器响应网页请求消息，将不适宜提供缓存服务的网页请求消息通过核心路由器转发至WEB网站服务器，由WEB网站服务器响应网页请求消息。
这里，SDN控制器下发给SDN交换机的转发流表是可以定期更新的。并且在该网络流量缓存系统初始运行时，由于缓存日志分析服务器还没有接收到缓存运行日志，也无法分析得到缓存日志分析结果，并且透明代理缓存服务器也没有反馈承载非HTTP协议的IP数据包的目的IP地址清单，在这种情况下，SDN控制器可以只根据人工设置的黑白名单来生成转发流表。后续在该系统运行一段时间之后，SDN控制器可以根据缓存日志分析服务器、透明代理缓存服务器以及管理平台上报的信息，来进一步对转发流表进行更新。
在本申请实施例所提供的系统中，DPI流量分析器部署在核心路由器的出口侧，DPI流量分析器通过采集并分析由核心路由器转发的承载HTTPS协议的TCP端口号为443的IP数据包，获取该IP数据包承载的HTTPS协议交互消息中携带的域名信息并记录在第一域名清单中，并将该第一域名清单发送给管理平台，这里，HTTPS协议交互消息可以是HTTPS协议通信流程中的client hello消息，DPI流量分析器可以从该消息中的server name字段提取出域名信息，并将其记录在第一域名清单中。其中，第一域名清单中记录有协议类型为HTTPS协议的网页请求消息所携带的域名信息，由于透明代理缓存服务器无法针对协议类型为HTTPS协议的网页请求消息提供缓存服务，因此第一域名清单也可以理解为不可缓存域名清单。
缓存日志分析服务器，还可以基于由接收到的缓存运行日志，获取由透明代理缓存服务器提供缓存服务的网页请求消息中所携带的域名信息，并记录在第二域名清单中。
管理平台能够综合分析DPI流量分析器以及缓存日志分析服务器上报的信息，呈现出缓存日志分析服务器上报的缓存日志分析结果以及DPI流量分析器上报的域名信息等，并确定出可缓存域名清单。具体地，管理平台还可以基于接收到的第一域名清单以及第二域名清单，确定可缓存域名清单。并且，针对某一个域名，当且仅当第二域名清单中记录有该域名，而第一域名清单没有记录该域名，才能记录在管理平台确定的可缓存域名清单中。相比现有技术中的反向代理缓存方案和透明代理缓存方案，本申请实施例提供的系统可以利用DPI流量分析器以及缓存日志分析服务器，判定出互联网域名所对应的网页内容是否可以加入缓存，并在管理平台输出一个可缓存域名清单。在实际应用中，管理平台输出的可缓存域名清单可以应用在其它网页缓存系统中，用来指导缓存服务器将可缓存域名清单中的域名信息所对应的网页内容引入缓存，从而避免了复杂的手工分析过程。
由此可见，本申请实施例提供的网络流量缓存系统，克服了透明代理缓存方案以及反向代理缓存方案无法有效适用于运营商网络环境下的局限，能够适用于运营商通过网页缓存服务器来提供互联网缓存加速服务的场景下，同时，相比于现有技术中透明代理缓存方案以及反向代理缓存方案，其针对网页访问过程的加速效果更为明显。
实施例二
针对上述网络流量缓存系统，本申请实施例二提出了一种网络流量缓存方法，其方法流程图如图2所示。
S201：客户端发起网页请求消息。
这里，客户端可以在用户点击浏览器中的超文本标记语言(HyperText MarkupLanguage，HTML)页面的某条统一资源定位符(Uniform Resource Locator，URL)超链接或在浏览器的搜索栏中输入某个域名之后，发起网页请求消息。其中，网页请求消息中包含有源IP地址信息、域名信息、目的IP地址信息以及目的端口号等。其中，目的IP地址信息可以是客户端在发起网页请求消息之前，调用域名系统(Domain Name System，DNS)解析程序，从DNS服务器中获取到的，并且该目的IP地址信息为与域名信息对应的WEB网站服务器的IP地址信息。
在具体实施中，客户端在获取到WEB网站服务器的IP地址信息之后，可以向WEB网站服务器发送TCP连接请求，以便建立TCP连接。在本申请实施例所提供的方法中，核心路由器在转发由客户端发来的承载TCP连接请求的数据包时，也可以将承载TCP连接请求的数据包中携带的IP地址信息以及承载的TCP端口号与预先配置的策略路由进行匹配，来确定该数据包下一跳的转发地址，其中，预先配置的策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包。其中，若策略路由中指定的IP地址信息中包含有该数据包携带的源IP地址信息(和/或目的IP地址信息)，且该数据包承载的TCP端口号为80，则确定该数据包与预先配置的策略路由相匹配，核心路由器会将该数据包转发SDN交换机，由SDN交换机进一步确定该数据包的下一跳转发地址。否则，在确定该数据包与预先配置的策略路由不匹配之后，核心路由器可以将该数据包转发给WEB网站服务器，由WEB网站服务器响应该数据包中承载的TCP连接请求。
进一步地，SDN交换机在转发匹配上述策略路由，且承载TCP连接请求的数据包时，也可以将该数据包中携带的目的IP地址信息与转发流表中匹配字段包含的IP地址信息进行匹配，若转发流表中匹配字段的IP地址信息中包含有该数据包中携带的目的IP地址信息，则确定该IP数据包与预先配置的转发流表相匹配，并将该数据包通过核心路由器转发给WEB网站服务器，以便客户端与WEB网站服务器之间建立起TCP连接。否则，在确定出该IP数据包与预先配置的转发流表不匹配之后，可以将该数据包转发给透明代理缓存服务器，以便客户端与透明代理缓存服务器之间建立起TCP连接。具体TCP连接的建立过程可参照现有流程，本申请中不再一一详述。后续，客户端可以基于与WEB网站服务器建立的TCP连接，通过核心路由器向WEB网站服务器发起网页请求消息，还可以基于与透明代理缓存服务器建立的TCP连接，通过核心路由器向透明代理缓存服务器发起网页请求消息。进一步地，核心路由器转发承载网页请求消息的IP数据包的过程，可以参见以下过程。
S202：核心路由器在转发承载网页请求消息的IP数据包时，将该IP数据包与预先配置的策略路由进行匹配；其中，上述策略路由仅匹配具有指定的IP地址信息且承载TCP端口号为80的IP数据包。
若该IP数据包与预先配置的策略路由不匹配，则继续执行步骤S203～S204；
若该IP数据包与预先配置的策略路由相匹配，则继续执行步骤S205～S213。
在具体实施中，核心路由器可以将IP数据包中携带的目的IP地址信息以及承载的TCP端口号，与策略路由中指定的IP地址信息以及承载TCP端口号进行匹配，若策略路由中指定的IP地址信息中包含有该IP数据包携带的源IP地址信息，且该数据包承载的TCP端口号为80，则确定IP数据包与预先配置的策略路由相匹配，否则，不匹配。此外，核心路由器还可以将IP数据包中携带的源IP地址信息，与策略路由中指定的IP地址信息进行匹配，或者，将IP数据包中携带的源IP地址信息以及目的IP地址信息，分别与策略路由中指定的IP地址信息进行匹配。具体的匹配方式，可根据实际使用情况来进行配置。
S203：核心路由器将该IP数据包转发给WEB网站服务器。
S204：WEB网站服务器在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息，其中，网页资源响应消息中携带有用户所请求访问的网页内容。
S205：核心路由器将该IP数据包转发给SDN交换机。
S206：SDN交换机在转发匹配上述策略路由的IP数据包时，将该IP数据包与预先配置的转发流表进行匹配；
若匹配，则继续执行步骤S207～S209；
若不匹配，则继续执行步骤S210～S211。
这里，SDN交换机中预先配置的转发流表可以是SDN控制器预先下发给SDN交换机的，并且该转发流表是SDN控制器根据不可缓存IP地址清单动态生成的，其中，在转发流表的流表项中包含有匹配字段，在匹配字段中包含有IP地址信息。该转发流表用于指示SDN交换机确定IP数据包的下一跳转发地址。
在具体实施中，SDN交换机可以将IP数据包中携带的目的IP地址信息与转发流表中匹配字段包含的IP地址信息进行匹配，若转发流表中匹配字段的IP地址信息中包含有该IP数据包中携带的目的IP地址信息，则确定该IP数据包与预先配置的转发流表相匹配，否则，不匹配。
在具体实施中，SDN交换机可以根据SDN控制器下发的转发流表，以及IP数据包携带的目的IP地址信息，确定该IP数据包的下一跳转发地址，进而确定出响应IP数据包所承载的网页请求消息的方式。若SDN交换机将该IP数据包通过核心路由器转发给WEB网站服务器，则响应网页请求消息的方式为由WEB网站服务器响应网页请求消息；若SDN交换机将该数据包通过SDN交换机发送给透明代理缓存服务器，则响应网页请求消息的方式为由透明代理缓存服务器响应网页请求消息。
S207：SDN交换机将该IP数据包通过第一端口转发给核心路由器。
S208：核心路由器将该IP数据包转发给WEB网站服务器。
S209：WEB网站服务器向客户端发送网页资源响应消息，其中，网页资源响应消息中携带有用户所请求访问的网页内容。
S210：SDN交换机将该IP数据包通过第二端口转发给透明代理缓存服务器。
S211：透明代理缓存服务器在接收到SDN交换机通过第二端口转发的IP数据包后，向客户端发送携带有网页内容的网页资源响应消息；其中，该网页内容为透明代理缓存服务器预先从WEB网站服务器获取并缓存的内容。
在具体实施中，透明代理缓存服务器在接收到承载网页请求消息的IP数据包后，若透明代理缓存服务器已缓存了该网页请求消息所要请求的网页内容，则可以直接将携带有缓存的网页内容的网页资源响应消息发送给客户端。若透明代理缓存服务器没有缓存该网页请求消息所要请求的网页内容，则透明代理缓存服务器还需从WEB网站服务器中获取该网页内容，并发送给客户端。同时，也会将该网页内容缓存在服务器中。
在具体实施中，SDN控制器向SDN交换机下发转发流表的过程可以为：
缓存日志分析服务器接收并分析透明代理缓存服务器上报的缓存运行日志，将分析后得到的缓存日志分析结果转发给SDN控制器；其中，缓存运行日志中记录有透明代理缓存服务器处理及响应网页请求消息的过程信息；管理平台将人工配置的IP地址黑白名单发送给SDN控制器；透明代理缓存服务器从接收到的IP数据包中获取承载的协议类型为非超文本传输协议HTTP协议的IP数据包所携带的目的IP地址信息，并基于获取到的目的IP地址信息，生成承载非HTTP协议的IP数据包的目的IP地址清单，进一步将该承载非HTTP协议的IP数据包发送给SDN控制器。
SDN控制器可以基于接收到的由缓存日志分析服务器上报的缓存日志分析结果、由透明代理缓存服务器发来的承载非HTTP协议的IP数据包的目的IP地址清单以及由管理平台发来的IP地址黑白名单，确定不可缓存IP地址清单，进一步基于不可缓存IP地址清单，生成转发流表。
此外，本申请实施例中，管理平台还可以综合分析DPI流量分析器以及缓存日志分析服务器上报的信息，确定出可缓存域名清单。具体地，DPI流量分析器采集并分析由核心路由器转发的承载HTTPS协议的TCP端口号为443的IP数据包，获取该IP数据包承载的HTTPS协议交互消息中携带的域名信息并记录在第一域名清单中，将第一域名清单发送给管理平台；缓存日志分析服务器基于接收到的缓存运行日志，获取由透明代理缓存服务器提供缓存服务的网页请求消息中所携带的域名信息，并记录在第二域名清单中；管理平台可以基于接收到的第一域名清单以及第二域名清单，确定出可缓存域名清单。管理平台输出的可缓存域名清单可以应用在其它网页缓存系统中，用来指导缓存服务器将可缓存域名清单中的域名信息所对应的网页内容引入缓存，从而避免了复杂的手工分析过程。
实施例三
如图3所示，为本申请实施例三提供的网络流量缓存方法流程图，包括以下步骤：
S301：核心路由器确定待转发的承载网页请求消息的IP数据包。
S302：将该IP数据包与预先配置的策略路由进行匹配，其中，上述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包。
若匹配，则将IP数据包转发给软件定义网络SDN交换机，以便由SDN交换机确定响应网页请求消息的方式；其中，响应网页请求消息的方式为由互联网WEB网站服务器响应网页请求消息，或由透明代理缓存服务器响应所网页请求消息；
若不匹配，则将IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应网页请求消息。
实施例四
如图4所示，为本申请实施例四提供的网络流量缓存方法流程图，包括以下步骤：
S401：软件定义网络SDN交换机确定待转发的IP数据包。
这里，确定出的待转发IP数据包与核心路由器预先配置的策略路由相匹配，其中，上述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
S402：基于IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应IP数据包所承载的网页请求消息的方式；其中，响应网页请求消息的方式为由WEB网站服务器响应网页请求消息，或由透明代理缓存服务器响应网页请求消息。
在具体实施中，SDN交换机预先配置的转发流表为SDN控制器下发的，并且转发流表为SDN控制器根据不可缓存IP地址清单动态生成的，用于指示SDN交换机确定IP数据包的下一跳转发地址。
SDN交换机可以根据接收的转发流表，将IP数据包与SDN控制器下发的转发流表进行匹配；若匹配，则SDN交换机将IP数据包通过第一端口转发给核心路由器，以便由核心路由器将所述SDN交换机通过第一端口发来的IP数据包转发给WEB网站服务器，并由WEB网站服务器响应IP数据包所承载的网页请求消息；若不匹配，则SDN交换机将IP数据包通过第二端口转发给透明代理缓存服务器，以便由透明代理缓存服务器响应IP数据包所承载的网页请求消息。
基于同一申请构思，本申请实施例中还提供了一种与网络流量缓存的方法对应的网络流量缓存的装置，由于该装置解决问题的原理与本申请实施例提出的网络流量缓存的方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
实施例五
如图5所示，为本申请实施例五提供的网络流量缓存装置结构图，包括以下步骤：
处理模块51，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
发送模块52，用于将与所述策略路由相匹配的IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；将与所述策略路由不匹配的IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息。
实施例六
如图6所示，为本申请实施例六提供的网络流量缓存装置结构图，包括以下步骤：
第一确定模块61，用于确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
第二确定模块62，用于基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息。
可选地，所述装置还包括：
接收模块63，用于接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址。
所述第二确定模块62具体用于：
根据所述接收模块接收的所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；
若匹配，则所述SDN交换机将所述IP数据包通过第一端口转发给所述核心路由器，以便由核心路由器将所述SDN交换机通过所述第一端口发来的IP数据包转发给WEB网站服务器，并由WEB网站服务器响应所述IP数据包所承载的网页请求消息；
若不匹配，则所述SDN交换机将所述IP数据包通过第二端口转发给所述透明代理缓存服务器，以便由透明代理缓存服务器响应所述IP数据包所承载的网页请求消息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种网络流量缓存系统，其特征在于，该系统包括：核心路由器、软件定义网络SDN交换机、透明代理缓存服务器、互联网WEB网站服务器；其中，
所述核心路由器，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配，若匹配，则将所述IP数据包转发给所述SDN交换机；若不匹配，则将所述IP数据包转发给所述WEB网站服务器；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
所述SDN交换机，用于在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由所述WEB网站服务器响应所述网页请求消息，或由所述透明代理缓存服务器响应所述网页请求消息；
所述透明代理缓存服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有所述网页请求消息所请求的网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的；
所述WEB网站服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息；
所述系统还包括：SDN控制器；其中，
所述SDN控制器，用于向所述SDN交换机下发所述转发流表，所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；
所述SDN交换机具体用于：
在转发匹配所述策略路由的IP数据包时，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配，若匹配，则将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则将所述IP数据包通过第二端口转发给所述透明代理缓存服务器；
所述核心路由器还用于：
将所述SDN交换机通过所述第一端口发来的IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应所述IP数据包所承载的网页请求消息；
所述透明代理缓存服务器具体用于：
接收所述SDN交换机通过所述第二端口发来的IP数据包，并响应该IP数据包所承载的网页请求消息。
2.如权利要求1所述的系统，其特征在于，所述系统中还包括：缓存日志分析服务器、管理平台；
所述透明代理缓存服务器还用于：
向所述缓存日志分析服务器上报缓存运行日志；所述缓存运行日志中记录有处理及响应网页请求消息的过程信息；从接收到的IP数据包中获取承载的协议类型为非超文本传输协议HTTP协议的IP数据包所携带的目的IP地址信息；基于获取到的目的IP地址信息，生成承载非HTTP协议的IP数据包的目的IP地址清单并发送给所述SDN控制器；
所述缓存日志分析服务器，用于基于所述缓存运行日志中记录的所述过程信息，生成缓存日志分析结果；
所述管理平台，用于将人工配置的IP地址黑白名单发送给所述SDN控制器；
所述SDN控制器具体用于：
基于接收的缓存日志分析结果、承载非HTTP协议的IP数据包的目的IP地址清单、IP地址黑白名单、确定不可缓存IP地址清单；
基于所述不可缓存IP地址清单，生成所述转发流表并下发给所述SDN交换机。
3.如权利要求2所述的系统，其特征在于，所述系统中还包括：深度包检测DPI流量分析器；
所述DPI流量分析器，用于采集并分析由所述核心路由器转发的承载HTTPS协议的TCP端口号为443的IP数据包，获取该IP数据包承载的HTTPS协议交互消息中携带的域名信息并记录在第一域名清单中，将所述第一域名清单发送给所述管理平台；
所述缓存日志分析服务器，还用于：
基于接收到的所述缓存运行日志，获取由所述透明代理缓存服务器提供缓存服务的网页请求消息中所携带的域名信息，并记录在第二域名清单中；
所述管理平台还用于：
基于接收到的所述第一域名清单以及第二域名清单，确定可缓存域名清单。
4.一种网络流量缓存方法，其特征在于，包括：
核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
若匹配，则所述核心路由器将所述IP数据包转发给软件定义网络SDN交换机；
所述SDN交换机在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
若不匹配，则所述核心路由器将所述IP数据包转发给所述WEB网站服务器；
所述WEB网站服务器在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息；
所述SDN交换机基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式，包括：
所述SDN交换机接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；
所述SDN交换机根据所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；
若匹配，则所述SDN交换机将所述IP数据包通过第一端口转发给所述核心路由器；
所述核心路由器将所述SDN交换机通过所述第一端口发来的IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应所述IP数据包所承载的网页请求消息；
若不匹配，则所述SDN交换机将所述IP数据包通过第二端口转发给所述透明代理缓存服务器；
所述透明代理缓存服务器在接收到所述SDN交换机通过所述第二端口转发的IP数据包后，向客户端发送携带有网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的内容。
5.如权利要求4所述的方法，其特征在于，所述SDN控制器根据以下方式生成转发流表：
所述SDN控制器基于接收到的由缓存日志分析服务器上报的缓存日志分析结果、由透明代理缓存服务器发来的承载非HTTP协议的IP数据包的目的IP地址清单以及由管理平台发来的IP地址黑白名单，确定不可缓存IP地址清单；
基于所述不可缓存IP地址清单，生成所述转发流表。
6.如权利要求5所述的方法，其特征在于，所述缓存日志分析服务器根据以下方式生成缓存日志分析结果：
所述缓存日志分析服务器接收由所述透明代理缓存服务器上报的缓存运行日志；所述缓存运行日志中记录有所述透明代理缓存服务器处理及响应网页请求消息的过程信息；
基于所述缓存运行日志中记录的所述过程信息，生成缓存日志分析结果。
7.如权利要求5所述的方法，其特征在于，所述透明代理缓存服务器根据以下方式生成承载非HTTP协议的IP数据包的目的IP地址清单：
所述透明代理缓存服务器从接收到的IP数据包中获取承载的协议类型为非超文本传输协议HTTP协议的IP数据包所携带的目的IP地址信息；
基于获取到的目的IP地址信息，生成承载非HTTP协议的IP数据包的目的IP地址清单。
8.如权利要求6所述的方法，其特征在于，所述方法还包括：
深度包检测DPI流量分析器采集并分析由所述核心路由器转发的承载HTTPS协议的TCP端口号为443的IP数据包，获取该IP数据包承载的HTTPS协议交互消息中携带的域名信息并记录在第一域名清单中并将所述第一域名清单发送给所述管理平台；
所述缓存日志分析服务器基于接收到的所述缓存运行日志，获取由所述透明代理缓存服务器提供缓存服务的网页请求消息中所携带的域名信息，并记录在第二域名清单中；
所述管理平台基于接收到的所述第一域名清单以及第二域名清单，确定可缓存域名清单。
9.一种网络流量缓存方法，其特征在于，包括：
核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
若匹配，则将所述IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
若不匹配，则将所述IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息；
其中，所述交换机通过以下方式确定响应所述网页请求消息的方式：所述SDN交换机接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；所述SDN交换机根据所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；若匹配，则所述SDN交换机将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则所述SDN交换机将所述IP数据包通过第二端口转发给所述透明代理缓存服务器。
10.一种网络流量缓存方法，其特征在于，包括：
软件定义网络SDN交换机确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式，包括：
接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；根据所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；若匹配，则将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则将所述IP数据包通过第二端口转发给所述透明代理缓存服务器。
11.一种网络流量缓存装置，其特征在于，包括：
处理模块，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
发送模块，用于将与所述策略路由相匹配的IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；将与所述策略路由不匹配的IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息；其中，所述交换机通过以下方式确定响应所述网页请求消息的方式：所述SDN交换机接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；所述SDN交换机根据所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；若匹配，则所述SDN交换机将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则所述SDN交换机将所述IP数据包通过第二端口转发给所述透明代理缓存服务器。
12.一种网络流量缓存装置，其特征在于，包括：
第一确定模块，用于确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；
第二确定模块，用于基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；
所述第二确定模块，具体用于接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述网络流量缓存装置确定所述IP数据包的下一跳转发地址；根据所述转发流表，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配；若匹配，则将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则将所述IP数据包通过第二端口转发给所述透明代理缓存服务器。
CN201710071451.8A 2017-02-09 2017-02-09 一种网络流量缓存系统、方法及装置 Active CN108418847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710071451.8A CN108418847B (zh) 2017-02-09 2017-02-09 一种网络流量缓存系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710071451.8A CN108418847B (zh) 2017-02-09 2017-02-09 一种网络流量缓存系统、方法及装置

Publications (2)

Publication Number Publication Date
CN108418847A CN108418847A (zh) 2018-08-17
CN108418847B true CN108418847B (zh) 2021-04-16

Family

ID=63125058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710071451.8A Active CN108418847B (zh) 2017-02-09 2017-02-09 一种网络流量缓存系统、方法及装置

Country Status (1)

Country Link
CN (1) CN108418847B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149248B (zh) * 2019-06-06 2020-03-03 杭州商湾网络科技有限公司 一种快速统计分析路由器流量的方法
CN110958186A (zh) * 2019-12-09 2020-04-03 中国科学技术大学 网络设备数据处理方法及系统
CN112104744B (zh) * 2020-03-30 2022-09-09 厦门网宿有限公司 流量代理方法、服务器及存储介质
CN111510478B (zh) * 2020-04-07 2022-06-24 支付宝(杭州)信息技术有限公司 请求处理方法、装置、系统及电子设备
CN111432231B (zh) * 2020-04-26 2023-04-07 中移（杭州）信息技术有限公司 边缘网络的内容调度方法、家庭网关、系统、及服务器
CN111756847B (zh) * 2020-06-28 2023-05-09 北京百度网讯科技有限公司 网站支持https协议的方法和装置
CN112751786B (zh) * 2020-12-28 2023-06-16 长沙星融元数据技术有限公司 基于可编程交换机的slb加速系统、方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236945A (zh) * 2013-04-08 2013-08-07 北京天地互连信息技术有限公司 基于OpenFlow的FlowVisor网络系统
CN104641606A (zh) * 2013-06-13 2015-05-20 华为技术有限公司 网络资源均衡处理的方法和虚拟网络管理实体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055006B2 (en) * 2012-06-11 2015-06-09 Radware, Ltd. Techniques for traffic diversion in software defined networks for mitigating denial of service attacks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236945A (zh) * 2013-04-08 2013-08-07 北京天地互连信息技术有限公司 基于OpenFlow的FlowVisor网络系统
CN104641606A (zh) * 2013-06-13 2015-05-20 华为技术有限公司 网络资源均衡处理的方法和虚拟网络管理实体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SDN的HTTP业务流加速方法设计与实现;王竞豪;《中国知网》;20151230;正文第3.3、3.5、4.2节 *

Also Published As

Publication number Publication date
CN108418847A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108418847B (zh) 一种网络流量缓存系统、方法及装置
US11108570B2 (en) Method and apparatus for multimedia communication, and storage medium
US10659354B2 (en) Processing data packets using a policy based network path
US9769126B2 (en) Secure personal server system and method
US9148407B2 (en) Selectively performing man in the middle decryption
US20190075049A1 (en) Determining Direction of Network Sessions
CN109218362B (zh) 一种互联网内容分发方法、装置和系统
KR20200095352A (ko) 원격 포워드 프록시에 대한 로컬 인터셉션 트래픽
US20170034174A1 (en) Method for providing access to a web server
EP3754947B1 (en) System and method for identifying ott applications and services
US8949952B2 (en) Multi-stack subscriber sign on
JP2008533784A (ja) コンピュータシステムにおける通信のための方法、システム、及びコンピュータプログラム
WO2020041137A1 (en) Nonce injection and observation system for detecting eavesdroppers
US20160380900A1 (en) Method and apparatus for managing traffic received from a client device in a communication network
CN112104744A (zh) 流量代理方法、服务器及存储介质
US10587733B2 (en) Server-side HTTP translator
CN113992642B (zh) 网关代理服务器的流量审计方法、装置及相关设备
US20190273808A1 (en) Leveraging Time-Windows Generated by Web Browser Pre-Connections
CA3027340A1 (en) Secure personal server system and method
KR20190053170A (ko) Dns 요청을 억제하기 위한 시스템 및 방법
CN109600379B (zh) Https重定向的降噪方法及装置
US20230336793A1 (en) Streaming proxy service
US11811734B2 (en) Protocol switching for connections to zero-trust proxy
CN116405535A (zh) 一种远程服务调用方法、装置、电子设备和存储介质
Malaioni et al. EFFEC: The Efficient Edge-Caching System for Multimedia Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant