CN103139252A - 一种网络代理缓存加速的实现方法及其装置 - Google Patents

一种网络代理缓存加速的实现方法及其装置 Download PDF

Info

Publication number
CN103139252A
CN103139252A CN2011103891381A CN201110389138A CN103139252A CN 103139252 A CN103139252 A CN 103139252A CN 2011103891381 A CN2011103891381 A CN 2011103891381A CN 201110389138 A CN201110389138 A CN 201110389138A CN 103139252 A CN103139252 A CN 103139252A
Authority
CN
China
Prior art keywords
file
web server
characteristic
user
buffer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103891381A
Other languages
English (en)
Other versions
CN103139252B (zh
Inventor
杨东晓
李继明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NETENTSEC Inc
Original Assignee
BEIJING NETENTSEC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NETENTSEC Inc filed Critical BEIJING NETENTSEC Inc
Priority to CN201110389138.1A priority Critical patent/CN103139252B/zh
Publication of CN103139252A publication Critical patent/CN103139252A/zh
Application granted granted Critical
Publication of CN103139252B publication Critical patent/CN103139252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络代理缓存加速的实现方法及其装置，该方法包括以下步骤：接收来自用户的网络访问请求；转发网络访问请求给WEB服务器；接收来自WEB服务器响应；根据WEB服务器响应的文件头部内容计算特征值；将特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将预存文件发送给用户。该装置包括用户端接口模块、转发模块、服务端接口模块、特征值计算模块和查找模块。本发明能够极大的提高用户获取网络资源的速度，并节省了网络流量和带宽。

Description

一种网络代理缓存加速的实现方法及其装置
技术领域
本发明涉及网络通信技术，尤其涉及一种网络代理缓存加速的实现方法及其装置。
背景技术
用户在访问网络上的资源时，是通过向WEB服务器发出一个标识该资源的统一资源定位符(Uniform Resource Locator，URL)的HTTP请求报文来进行的，该URL唯一标识了用户要访问的网络资源。
目前的网络代理缓存设备在对WEB服务器响应的网络资源进行缓存处理时，是将用户发出的网络访问请求所包含的URL经过运算后作为唯一标识一个缓存信息的索引。用户在访问不同的WEB服务器时，发出的网络访问请求的URL是不一样的，假如两台WEB服务器上各有一个文件资源，它们的内容完全相同，但是由于标识该文件资源的URL不同，导致网络代理缓存设备在处理响应WEB服务器上的数据内容时会缓存为两个不同的文件，浪费了存储空间。当内网用户访问一个WEB服务器上具有相同文件内容的资源时，也由于URL的不同，导致网络代理缓存设备不能根据URL映射到已经保存的缓存文件上，而需要继续从WEB服务器上获取完整的内容，增加了网络流量和占用了网络带宽的资源，不能发挥网络代理缓存设备的缓存加速效果。
发明内容
本发明要解决的技术问题是快速响应用户的网络访问请求，提高用户获取网络资源的速度。
解决上述技术问题，一方面，本发明提供了一种网络代理缓存加速的实现方法，该方法包括以下步骤：接收来自用户的网络访问请求；转发网络访问请求给WEB服务器；接收来自WEB服务器响应；根据WEB服务器响应的文件头部内容计算特征值；将特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将预存文件发送给用户。
另一方面，本发明提供了一种网络代理缓存加速的实现装置，该装置包括用户端接口模块、转发模块、服务端接口模块、特征值计算模块和查找模块，其中用户端接口模块用于接收来自用户的网络访问请求；转发模块用于转发网络访问请求给WEB服务器；服务端接口模块用于接收来自WEB服务器响应；特征值计算模块用于根据WEB服务器响应的文件头部内容计算特征值；查找模块用于将特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将所述预存文件发送给用户。
本发明通过缓存文件的头部内容计算特征值来作为索引，查找缓存内容中相同的文件，极大的提高了用户获取网络资源的速度，并节省了网络流量和带宽。
附图说明
本发明的示例性实施例将从下文中给出的详细说明和本发明不同实施例的附图中被更完全地理解，然而这不应该被视为将本发明限制于具体的实施例，而应该只是为了解释和理解。
图1为本发明实施例网络代理缓存加速的方法应用场景图；
图2为本发明实施例网络代理缓存加速的方法流程图；
图3为图2实施例客户端和服务端之间的信令流程图；
图4为本发明实施例网络代理缓存加速的装置结构图。
具体实施方式
本领域的普通技术人员将意识到，所述示例性实施例的下述详细说明仅仅是说明性的，并且不是意在以任何方式加以限制。
图1为本发明实施例网络代理缓存加速的方法应用场景图。在图1中，网络代理缓存设备12充当WEB请求的网关，并执行基本WEB服务器的职能，例如检索请求并为URL服务。它转发来自用户端11和WEB服务器13的请求，并将WEB服务器13的响应返回给用户。网络代理缓存设备12可以保存或高速缓存从WEB服务器13检索到的网络资源，并在本地处理随后的网络访问请求。用户11可以更快地获得想要的网络资源，同时还节省了网络带宽。
图2为本发明实施例网络代理缓存加速的方法流程图，图3为客户端、网络代理缓存设备和服务端之间的信令流程图。现结合图2和图3阐述网络代理缓存加速的方法，该方法包括步骤201-205。
在步骤201，接收来自用户的网络访问请求。
用户通过浏览器向WEB服务器请求服务时，需先和网络代理缓存设备建立TCP连接，网络代理缓存设备接收来自用户端发出的HTTP请求报文。
在步骤202，转发网络访问请求给WEB服务器。
网络代理缓存加速设备在接收到来自用户的HTTP请求报文时，首先根据HTTP请求报文开始行中的URL查找缓存中是否存在上述URL映射的已经保存在缓存上的请求对象，如果存在用户所请求的对象，网络代理缓存加速设备就把这个对象放入HTTP响应报文中返回给用户。否则，网络代理缓存加速设备在接收到来自用户的网络访问请求时，则与WEB服务器建立TCP连接，并转发来自用户发出的HTTP请求报文。
在步骤203，接收来自WEB服务器响应。
WEB服务器把用户所请求的对象放在HTTP响应报文中返回给网络代理缓存加速设备，网络代理缓存加速设备接收来自WEB服务器的HTTP响应报文。
在步骤204，根据WEB服务器响应的文件头部内容计算特征值。
网络代理缓存加速设备在收到WEB服务器返回的HTTP响应报文后，提取响应报文中用户请求的文件内容，并根据文件头部内容计算特征值。
网络代理缓存加设备可以根据文件内容信息来计算特征值。在一个例子中，网络代理缓存加速设备根据文件头部内容的文件属性信息和数据信息，获取该文件头部的多个维度的特征信息，并将该多个维度的特征信息进行组合并进行哈希运算，获得标识该文件内容特征的特征值，最后将该文件内容存储在缓存中，用该特征值作为标识该文件内容的唯一索引。文件头部内容的文件属性可以是该文件的类型或文件大小。
在步骤205，网络代理缓存加速设备将文件内容特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将缓存文件中的预存文件放在HTTP响应报文中，通过已经建立的TCP连接，返回给请求该对象的用户浏览器。如果查找不成功，则继续从WEB服务器上获取用户请求的文件存储到缓存中，并将文件头部内容计算出的特征值作为标识该文件内容的索引。
图3为本发明实施例网络代理缓存加速的装置结构图。如图3所示，该装置包括用户端接口模块31、转发模块32、服务端接口模块33、特征值计算模块34、查找模块35和缓存模块36。
用户端接口模块31用于接收来自用户端的网络访问请求；转发模块32用于转发网络访问请求给WEB服务器；服务端接口模块33用于接收来自WEB服务器响应；特征值计算模块34用于根据WEB服务器响应的文件头部内容计算特征值；查找模块35用于将特征值作为索引，查找缓存模块36中是否存在相同的预存文件，如果查找成功，则将预存文件发送给用户。
本发明实施例网络代理缓存加速的装置的用户端接口模块31、转发模块32、服务端接口模块33、特征值计算模块34和查找模块35分别为了实现图2中各个方法的相应流程，在此不再赘述。
尽管已经示出并描述了本发明的特殊实施例，然而在不背离本发明的示例性实施例及其更宽广方面的前提下，本领域技术人员显然可以基于此处的教学做出变化和修改。因此，所附的权利要求意在将所有这类不背离本发明的示例性实施例的真实精神和范围的变化和更改包含在其范围之内。

Claims (7)

1.一种网络代理缓存加速的实现方法，其特征在于：所述方法包括以下步骤：
接收来自用户的网络访问请求；
转发所述网络访问请求给WEB服务器；
接收来自所述WEB服务器响应；
根据所述WEB服务器响应的文件头部内容计算特征值；
将所述特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将所述预存文件发送给用户。
2.根据权利要求1所述的方法，其特征在于：所述根据所述WEB服务器响应的文件头部内容计算特征值是通过执行以下步骤得到的：
根据文件头部内容的文件属性信息和数据信息，获取该文件头部的多个维度的特征信息；
将所述多个维度的特征信息进行组合并进行哈希运算，获得标识该文件内容特征的特征值。
3.根据权利要求2所述的方法，其特征在于：所述文件属性信息包括文件类型和文件大小。
4.根据权利要求1所述的方法，其特征在于：所述预存文件通过执行以下步骤得到：
根据文件头部内容的文件属性信息和数据信息，获取该文件头部的多个维度的特征信息；
将所述多个维度的特征信息进行组合并进行哈希运算，获得标识该文件内容特征的特征值；
将所述文件内容存储在缓存中，所述特征值作为标识所述文件内容的索引。
5.一种网络代理缓存加速的实现装置，其特征在于：所述装置包括：
用户端接口模块，用于接收来自用户的网络访问请求；
转发模块，用于转发网络访问请求给WEB服务器；
客户端接口模块，用于接收来自WEB服务器响应；
特征值计算模块，用于根据WEB服务器响应的文件头部内容计算特征值；
查找模块，用于将所述特征值作为索引，查找缓存中是否存在相同的预存文件，如果查找成功，则将所述预存文件发送给用户。
6.根据权利要求5所述的装置，其特征在于：所述特征值计算模块根据以下步骤计算特征值：
根据文件头部内容的文件属性信息和数据信息，获取该文件头部的多个维度的特征信息；
将所述多个维度的特征信息进行组合并进行哈希运算，获得标识该文件内容特征的特征值。
7.根据权利要求5所述的装置，其特征在于：所述装置还包括缓存模块，所述模缓存模块用于存储所述预存文件。
CN201110389138.1A 2011-11-30 2011-11-30 一种网络代理缓存加速的实现方法及其装置 Active CN103139252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110389138.1A CN103139252B (zh) 2011-11-30 2011-11-30 一种网络代理缓存加速的实现方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110389138.1A CN103139252B (zh) 2011-11-30 2011-11-30 一种网络代理缓存加速的实现方法及其装置

Publications (2)

Publication Number Publication Date
CN103139252A true CN103139252A (zh) 2013-06-05
CN103139252B CN103139252B (zh) 2015-12-02

Family

ID=48498553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110389138.1A Active CN103139252B (zh) 2011-11-30 2011-11-30 一种网络代理缓存加速的实现方法及其装置

Country Status (1)

Country Link
CN (1) CN103139252B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347092A (zh) * 2013-07-22 2013-10-09 星云融创（北京）信息技术有限公司 一种识别缓存文件的方法及装置
CN104426718A (zh) * 2013-09-10 2015-03-18 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
CN105208100A (zh) * 2015-08-25 2015-12-30 联创车盟汽车服务有限公司 一种接口数据的处理方法
CN107196986A (zh) * 2016-03-15 2017-09-22 中国移动通信集团江苏有限公司 一种重定向方法及装置
WO2018205471A1 (zh) * 2017-05-10 2018-11-15 深圳大普微电子科技有限公司 基于特征分析的数据存取方法、存储设备及存储系统
CN110134896A (zh) * 2019-05-17 2019-08-16 山东渤聚通云计算有限公司 一种代理服务器的监控过程及智能缓存方法
CN113779439A (zh) * 2021-08-30 2021-12-10 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071857A1 (en) * 2006-09-20 2008-03-20 Opera Software Asa Method, computer program, transcoding server and computer system for modifying a digital document
CN101719936A (zh) * 2009-12-09 2010-06-02 成都市华为赛门铁克科技有限公司 提供文件下载服务的方法、装置及缓存系统
CN101827096A (zh) * 2010-04-09 2010-09-08 潘燕辉 一种基于云计算的多用户协同安全防护系统和方法
CN102096712A (zh) * 2011-01-28 2011-06-15 深圳市五巨科技有限公司 一种移动终端缓存控制的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071857A1 (en) * 2006-09-20 2008-03-20 Opera Software Asa Method, computer program, transcoding server and computer system for modifying a digital document
CN101719936A (zh) * 2009-12-09 2010-06-02 成都市华为赛门铁克科技有限公司 提供文件下载服务的方法、装置及缓存系统
CN101827096A (zh) * 2010-04-09 2010-09-08 潘燕辉 一种基于云计算的多用户协同安全防护系统和方法
CN102096712A (zh) * 2011-01-28 2011-06-15 深圳市五巨科技有限公司 一种移动终端缓存控制的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347092A (zh) * 2013-07-22 2013-10-09 星云融创（北京）信息技术有限公司 一种识别缓存文件的方法及装置
CN104426718A (zh) * 2013-09-10 2015-03-18 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
CN104426718B (zh) * 2013-09-10 2018-04-13 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
CN105208100A (zh) * 2015-08-25 2015-12-30 联创车盟汽车服务有限公司 一种接口数据的处理方法
CN107196986A (zh) * 2016-03-15 2017-09-22 中国移动通信集团江苏有限公司 一种重定向方法及装置
CN107196986B (zh) * 2016-03-15 2021-04-27 中国移动通信集团江苏有限公司 一种重定向方法及装置
WO2018205471A1 (zh) * 2017-05-10 2018-11-15 深圳大普微电子科技有限公司 基于特征分析的数据存取方法、存储设备及存储系统
CN110134896A (zh) * 2019-05-17 2019-08-16 山东渤聚通云计算有限公司 一种代理服务器的监控过程及智能缓存方法
CN113779439A (zh) * 2021-08-30 2021-12-10 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质
CN113779439B (zh) * 2021-08-30 2023-12-08 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质

Also Published As

Publication number Publication date
CN103139252B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
US10778554B2 (en) Latency measurement in resource requests
CN103139252B (zh) 一种网络代理缓存加速的实现方法及其装置
US8856279B2 (en) Method and system for object prediction
US8533310B2 (en) Method and apparatus for acceleration by prefetching associated objects
US9253065B2 (en) Latency measurement in resource requests
US10630758B2 (en) Method and system for fulfilling server push directives on an edge proxy
CN102111685B (zh) 一种网络视频加载的加速方法、设备及系统
WO2017080459A1 (zh) 服务内容的缓存及提供方法、装置、系统和存储介质
US20070226229A1 (en) Method and system for class-based management of dynamic content in a networked environment
CN100563214C (zh) 一种提高访问网络资源速度的方法及系统
CN102739717A (zh) 下载方法、下载代理服务器和网络系统
WO2015106692A1 (en) Webpage pushing method, client, server, and system
CN102780711A (zh) 一种sns应用数据访问方法及其装置和系统
US20140101294A1 (en) Transit-mode-based webpage accessing method, system, and crawler route server
CN103401946A (zh) Http上传加速方法和系统
CN103731493A (zh) 页面传输方法、装置及系统
CN105450703A (zh) 一种数据缓存方法和装置
CN103001964A (zh) 一种局域网环境下的缓存加速方法
CN104836822A (zh) 获取下载数据方法及装置、下载数据的方法及系统
CN105393247A (zh) 一种网页优化的设备及方法
CN110392069B (zh) Cdn业务调度处理方法及cdn服务器
US8914542B1 (en) Content caching
EP3389240B1 (en) Method and system for processing cache cluster service
CN103581361A (zh) 一种域名解析代理方法、设备及系统
CN110933193B (zh) 域名解析方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant