CN103747105A - 一种网络文件的缓存方法及系统 - Google Patents

一种网络文件的缓存方法及系统 Download PDF

Info

Publication number
CN103747105A
CN103747105A CN201410038905.8A CN201410038905A CN103747105A CN 103747105 A CN103747105 A CN 103747105A CN 201410038905 A CN201410038905 A CN 201410038905A CN 103747105 A CN103747105 A CN 103747105A
Authority
CN
China
Prior art keywords
file
network
server
analysis
popular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410038905.8A
Other languages
English (en)
Inventor
汪学科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN VISPRACTICE TECHNOLOGY Corp
Original Assignee
SHENZHEN VISPRACTICE TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN VISPRACTICE TECHNOLOGY Corp filed Critical SHENZHEN VISPRACTICE TECHNOLOGY Corp
Priority to CN201410038905.8A priority Critical patent/CN103747105A/zh
Publication of CN103747105A publication Critical patent/CN103747105A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种网络文件的缓存方法，包括：步骤1、对通过各网络节点的网络协议包进行文件探测分析；步骤2、对探测分析结果为热门文件的，对通过各网络节点的该热门文件进行抓取；步骤3、将抓取的热门文件按分级缓存原则分级缓存在各网络节点的缓存服务器中。本发明还提供一种网络文件的缓存系统。通过本发明提供一种网络文件的缓存方法及系统，建立运营商级别的文件缓存系统，使用户在较窄的网络内就可以获取到相关的文件资源，既提高下载速度，又避免过多占用主干资源。

Description

一种网络文件的缓存方法及系统
技术领域
本发明涉及互联网领域，特别是涉及一种网络文件的缓存方法及系统。
背景技术
目前，迅雷等下载软件可以提供给用户高速通道的服务，通过基于客户端下载文件的热度分析，迅雷对热点文件在高速服务器进行缓存。
当用户需要高速通道服务时，下载软件查找服务器中目前的缓存列表，如果存在，则将缓存的文件提供给用户下载，如果不存在，则查找目前存在此文件的用户，获取其资源，然后建立缓存提供给用户下载。
由于下载软件本身就是下载的优先级提供者，所以当服务器与其他用户在取得某资源存在竞争时，肯定优先满足服务器，所以，服务器总能比用户优先获得资源。所以，在用户感知上，如果使用了高速通道服务，下载速度会快很多。
另外，下载服务器只能建立在网络的某个点，所有用户都从这个点下载文件，无论是否有高速下载的技术，对于运营商而言，占用的网络资源并不会随之减少。反之，由于下载软件使用的P2P技术，会无限制的侵占运营商的网络带宽和端口，使得运营商的服务下降。下载服务器通过与其他用户竞争的方式，优先获取网络上共享的资源，对于普通用户而言，实际上已经损害到普通用户的利益。
所以，有必要提供一种新的技术，使用户在较窄的网络内获取到相关的文件资源时，既可以提高下载速度，又避免过多占用主干资源。
发明内容
本发明的目的在于提供一种网络文件的缓存方法及系统，通过建立运营商级别的文件缓存系统，使用户在较窄的网络内就可以获取到相关的文件资源，既提高下载速度，又避免过多占用主干资源。
为解决以上技术问题，本发明提供一种网络文件的缓存方法，包括：
步骤1、对通过各网络节点的网络协议包进行文件探测分析；
步骤2、对探测分析结果为热门文件的，对通过各网络节点的该热门文件进行抓取；
步骤3、将抓取的热门文件按分级缓存原则分级缓存在各网络节点的缓存服务器中。
进一步地，所述分级缓存原则是根据热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
为解决以上技术问题，本发明提供还一种网络文件的缓存系统，所述系统具有多层网络架构，包括：缓存服务器、分析服务器、交换机，其中：
所述交换机，部署在网络最底层节点，用于对通过所述交换机的网络协议包进行文件探测分析，将分析结果上传至分析服务器；以及根据分析服务器的分析结果下载热门文件，上传至各网络节点的缓存服务器；
所述分析服务器，部署在网络顶层，用于统一分析各底层交换机上传的分析结果，得到热门文件的分析结果，如果文件热门，则通知各网络节点交换机下载该热门文件；
所述缓存服务器，部署在每一网络节点中，用于接收并分级缓存各层交换机上传的热门文件。
进一步地，所述交换机包括探测装置，所述探测装置用于对通过所述交换机的网络协议包进行文件探测分析，将分析结果上传至分析服务器；以及根据分析服务器的分析结果下载热门文件，上传至各网络节点的缓存服务器。
进一步地，所述探测装置分析文件的唯一特征值，并记录该文件下载的次数。
进一步地，所述分析服务器还用于根据热门文件的分析结果，指定该热门文件分级缓存服务器的级别。
进一步地，所述分级缓存原则是根据所述分析服务器热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
与现有的技术相比，本发明提供一种运营级别的网络文件的缓存文件及系统，利用在各个网络分层节点的交换机网关探测装置对通过交换机网关的网络协议包，进行文件探测，再利用分析服务器分析出热门文件后，通知探测装置对通过网络的热门文件进行抓取，分级缓存在建立在各个网络节点的缓存服务器中。
由于本发明的前提是建立在交换机网关上的文件探测，热门文件本身都需要经过交换机网关，所以，本发明的方案并不会造成和其他用户的竞争。
与通过用户客户端分析用户下载的下载软件的方案相对，本发明的方案不需要依赖用户的客户端，不基于用户客户端分析，而是直接从交换机网关获取相关的文件数据，利用了运营商本身的网络优势，为用户提供了更好的服务，不会侵害其他普通用户权益。
此外，缓存服务器部署在各网络节点上，使用户在较窄的网络内可以就近获取相关热门文件资源，既提高下载速度，提高用户的服务感知，又避免避免过多占用主干网络资源的情况。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明提供的一种网络文件的缓存方法的流程图。
图2是本发明提供的一种网络文件的缓存系统的网络结构示意图。
图3是利用本发明提供网络文件的缓存系统缓存网络文件的流程图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供一种网络文件的缓存方法，包括：
步骤1、对通过各网络节点的网络协议包进行文件探测分析。
步骤2、对探测分析结果为热门文件的，对通过各网络节点的该热门文件进行抓取。
步骤3、将抓取的热门文件按分级缓存原则分级缓存在各网络节点的缓存服务器中。
其中，所述分级缓存原则是根据热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
如图2所示，本发明提供一种网络文件的缓存系统，所述系统具有多层网络架构，包括：缓存服务器30、分析服务器40、交换机20，其中，在网络各个节点上部署缓存服务器30，在网络顶层部署分析服务器40，在最底层的各个网络分层的交换机20上设置探测装置（未图示）。通过以上网络设置，建立运营商级别的文件缓存系统。
所述交换机20，部署在网络最底层节点中，每一交换机20包括探测装置（未图示），用于对通过该交换机20的网络协议包进行文件探测分析，分析文件的唯一特征值，并记录该文件下载的次数，将分析结果上传至分析服务器40；以及根据分析服务器40的分析结果下载热门文件，下载完成后上传至各网络节点的缓存服务器30。
所述分析服务器40，部署在网络顶层，用于统一分析各底层交换机20上传的分析结果，得到热门文件的分析结果，如果文件热门，则通知各网络节点交换机20的探测装置下载该热门文件；以及根据热门文件的分析结果，指定该热门文件分级缓存服务器30的级别。所述分级缓存原则是根据热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
所述缓存服务器30，部署在每一网络节点中，用于接收并分级缓存各层交换机20上传的热门文件。所述分级缓存原则是根据所述分析服务器40的热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
下面将结合实施案例来详细说明本发明的实现方式，借此对本发明如何应用技术手段来解决实际业务问题。
如图3所示，是利用本发明提供的网络文件缓存系统缓存网络文件的流程图。
作为运营商级别的网络文件缓存系统，由于在网络各个节点上部署缓存服务器，在网络顶层部署分析服务器，并在最底层的各个网络分层的交换机上设置探测装置。
在各个网络分层节点，探测装置对通过交换机的TCP/IP网络协议包，进行文件探测，分析文件的唯一特征值，并记录该文件下载的次数，并将文件分析结果上传至分析服务器。
分析服务器通过各个底层交换机探测装置提供的分析结果，进行统一分析，如果是热门文件，则通知各个交换机的探测装置进行热门文件下载，热门文件下载完成后上传至各个网络节点的缓存服务器进行热门文件的分级缓存。
本发明提供一种运营级别的网络文件的缓存文件及系统，利用在各个网络分层节点的交换机网关探测装置对通过交换机网关的网络协议包，进行文件探测，再利用分析服务器分析出热门文件后，通知探测装置对通过网络的热门文件进行抓取，分级缓存在建立在各个网络节点的缓存服务器中。
由于本发明的前提是建立在交换机网关上的文件探测，热门文件本身都需要经过交换机网关，所以，本发明的方案并不会造成和其他用户的竞争。
与通过用户客户端分析用户下载的下载软件的方案相对，本发明的方案不需要依赖用户的客户端，不基于用户客户端分析，而是直接从交换机网关获取相关的文件数据，利用了运营商本身的网络优势，为用户提供了更好的服务，不会侵害其他普通用户权益。
此外，缓存服务器部署在各网络节点上，使用户在较窄的网络内可以就近获取相关热门文件资源，既提高下载速度，提高用户的服务感知，又避免避免过多占用主干网络资源的情况。
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种网络文件的缓存方法，其特征在于，包括：
步骤1、对通过各网络节点的网络协议包进行文件探测分析；
步骤2、对探测分析结果为热门文件的，对通过各网络节点的该热门文件进行抓取；
步骤3、将抓取的热门文件按分级缓存原则分级缓存在各网络节点的缓存服务器中。
2.如权利要求1所述的方法，其特征在于，所述分级缓存原则是根据热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
3.一种网络文件的缓存系统，其特征在于，所述系统具有多层网络架构，包括：缓存服务器、分析服务器、交换机，其中：
所述交换机，部署在网络最底层节点，用于对通过所述交换机的网络协议包进行文件探测分析，将分析结果上传至分析服务器；以及根据分析服务器的分析结果下载热门文件，上传至各网络节点的缓存服务器；
所述分析服务器，部署在网络顶层，用于统一分析各底层交换机上传的分析结果，得到热门文件的分析结果，如果文件热门，则通知各网络节点交换机下载该热门文件；
所述缓存服务器，部署在每一网络节点中，用于接收并分级缓存各层交换机上传的热门文件。
4.如权利要求3所述的系统，其特征在于，所述交换机包括探测装置，所述探测装置用于对通过所述交换机的网络协议包进行文件探测分析，将分析结果上传至分析服务器；以及根据分析服务器的分析结果下载热门文件，上传至各网络节点的缓存服务器。
5.如权利要求4所述的系统，其特征在于，所述探测装置分析文件的唯一特征值，并记录该文件下载的次数。
6.如权利要求4所述的系统，其特征在于，所述分析服务器还用于根据热门文件的分析结果，指定该热门文件分级缓存服务器的级别。
7.如权利要求6所述的系统，其特征在于，所述分级缓存原则是根据所述分析服务器热门文件的分析结果，在不同的网络层次分级缓存，最热门的文件存储在最底层，次之的放入高一级的，依次类推。
CN201410038905.8A 2014-01-26 2014-01-26 一种网络文件的缓存方法及系统 Pending CN103747105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410038905.8A CN103747105A (zh) 2014-01-26 2014-01-26 一种网络文件的缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410038905.8A CN103747105A (zh) 2014-01-26 2014-01-26 一种网络文件的缓存方法及系统

Publications (1)

Publication Number Publication Date
CN103747105A true CN103747105A (zh) 2014-04-23

Family

ID=50504091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410038905.8A Pending CN103747105A (zh) 2014-01-26 2014-01-26 一种网络文件的缓存方法及系统

Country Status (1)

Country Link
CN (1) CN103747105A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124948A (zh) * 2019-12-04 2020-05-08 北京东土科技股份有限公司 嵌入式系统的网络数据抓包方法及系统、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162109A1 (en) * 2001-04-26 2002-10-31 Koninklijke Philips Electronics N.V. Distributed storage on a P2P network architecture
CN1937554A (zh) * 2006-09-30 2007-03-28 南京信风软件有限公司 一种使p2p文件下载流量本地化的方法
CN101236569A (zh) * 2008-02-01 2008-08-06 浙江大学 一种基于ContextFS上下文文件系统的高效动态路径解析方法
CN101902346A (zh) * 2009-05-31 2010-12-01 国际商业机器公司 P2p内容缓存系统和方法
CN102664813A (zh) * 2012-05-17 2012-09-12 重庆邮电大学 一种p2p流量本地化系统及方法
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法
US20130254485A1 (en) * 2012-03-20 2013-09-26 Hari S. Kannan Coordinated prefetching in hierarchically cached processors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162109A1 (en) * 2001-04-26 2002-10-31 Koninklijke Philips Electronics N.V. Distributed storage on a P2P network architecture
CN1937554A (zh) * 2006-09-30 2007-03-28 南京信风软件有限公司 一种使p2p文件下载流量本地化的方法
CN101236569A (zh) * 2008-02-01 2008-08-06 浙江大学 一种基于ContextFS上下文文件系统的高效动态路径解析方法
CN101902346A (zh) * 2009-05-31 2010-12-01 国际商业机器公司 P2p内容缓存系统和方法
US20130254485A1 (en) * 2012-03-20 2013-09-26 Hari S. Kannan Coordinated prefetching in hierarchically cached processors
CN102664813A (zh) * 2012-05-17 2012-09-12 重庆邮电大学 一种p2p流量本地化系统及方法
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124948A (zh) * 2019-12-04 2020-05-08 北京东土科技股份有限公司 嵌入式系统的网络数据抓包方法及系统、存储介质

Similar Documents

Publication Publication Date Title
US10122547B2 (en) Enabling high-bandwidth, responsive mobile applications in LTE networks
US20170222889A1 (en) Method and Device for Providing Network Service, Evaluating Policy Rule and Selecting Service Assembly
CN105122936B (zh) 一种业务分配的处理方法及相关装置
WO2018001144A1 (zh) 基站、访问请求的响应方法、装置及系统
US10574568B2 (en) Enhanced quality of service in software-defined networking-based connectionless mobility architecture
WO2015055100A1 (en) Peer-to-peer upload scheduling
US20180270300A1 (en) Supporting internet protocol (ip) clients in an information centric network (icn)
EP3783866A1 (en) Mapping service for local content redirection
US20130183951A1 (en) Dynamic mobile application classification
WO2012009619A2 (en) Hierarchical device type recognition, caching control and enhanced cdn communication in a wireless mobile network
CN104836822B (zh) 获取下载数据方法及装置、下载数据的方法及系统
US20160366212A1 (en) P2p-based file transmission control method and p2p communication control device therefor
Carofiglio et al. Scalable mobile backhauling via information-centric networking
US20190166223A1 (en) Content delivery network (cdn) for uploading, caching and delivering user content
CN103888539A (zh) P2p缓存的引导方法、装置及p2p缓存系统
CN102316159A (zh) 一种快速部署服务器及服务器集群的方法和系统
Du et al. Application specific mobile edge computing through network softwarization
FR3020734A1 (fr) Procede de traitement d'un paquet de donnees relatif a un service
EP3338409A1 (fr) Procédé de gestion dynamique d'un service réseau dans un réseau de communication
CN103747105A (zh) 一种网络文件的缓存方法及系统
US10291418B2 (en) File size-based toll-free data service
US9521030B2 (en) Deploying a toll-free data service campaign by modifying a uniform resource identifier
CN106878354A (zh) 用于多云存储系统间文件互传的方法、装置和系统
CN105472402A (zh) 一种基于点对点p2p的视频流媒体资源的获取方法和设备
Johnson et al. Kwaabana: File sharing for rural networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518057, Guangdong Province, Nanshan District hi tech Zone, North Road, Lang Lang, No. 13 Thunis building, C,, C302

Applicant after: Shenzhen travel Polytron Technologies Inc

Address before: 518057, Guangdong Province, Nanshan District hi tech Zone, North Road, Lang Lang, No. 13 Thunis building, C,, C302

Applicant before: Shenzhen Vispractice Technology Corporation

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20140423

RJ01 Rejection of invention patent application after publication