CN102333123B - 文件存储方法、设备、查找方法、设备和网络设备 - Google Patents
文件存储方法、设备、查找方法、设备和网络设备 Download PDFInfo
- Publication number
- CN102333123B CN102333123B CN201110302214.0A CN201110302214A CN102333123B CN 102333123 B CN102333123 B CN 102333123B CN 201110302214 A CN201110302214 A CN 201110302214A CN 102333123 B CN102333123 B CN 102333123B
- Authority
- CN
- China
- Prior art keywords
- file
- identifier
- determining
- storage space
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004044 response Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 6
- 239000002699 waste material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种文件存储方法、设备、查找方法、设备和网络设备,包括:基于HTTP下载文件后,在存储下载的该文件时,利用该文件的第一标识作为一级索引,在第一存储空间中存储所述第二标识,并在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容,从而实现文件的双索引、二层存储方式,相对于现有技术中的单索引、一层存储的方式,可以在查找某文件时,在查找时使用的第一标识与保存该文件时使用的第一标识不相同,利用第一标识无法查找到该文件时,进一步利用第二标识查找获得,从而提高查找到该文件的命中率。
Description
技术领域
本发明涉及通信领域,尤其涉及一种文件存储方法、设备、查找方法、设备和网络设备。
背景技术
随着互联网技术的不断发展和普及,全球信息化的速度不断加快,超文本传输协议(HTTP,Hypertext Transfer Protocol)作为互联网上应用最广泛的协议,越来越受到了人们的关注。
目前广泛使用的微软因特网浏览器(IE),火狐(Firefox)浏览器,谷歌(Google)浏览器都是基于HTTP协议开发的,为了提高这些浏览器的网页访问速度,最典型技术就是利用浏览器本地缓存,缓存一些HTTP网页上的资源,如图片、页面或者文件等,当用户通过同一终端再次访问相同网页时,可以利用本地缓存的结果,不必跨广域网(WAN,Wide Area Network)去获取已缓存的资源,从而提高网页再次打开的速度。
浏览器的本地缓存虽然可以使得同一终端多次访问相同网页时,提高网页再次打开的速度,但是无法给本局域网内其他终端提供帮助,其他终端还是需要跨WAN去访问网页,导致网页访问速度还是很慢。为了让局域网内其他终端能够共享已经缓存过的网页,出现了单独的HTTP网页缓存的设备,通过部署在局域网的出口来达到所有局域网内的终端都可以共享到已缓存的网页,提高访问速度的同时,还可以节省宝贵的WAN流量。
HTTP网页缓存的设备可以是HTTP代理服务器。普通的HTTP网页访问过程是一个典型的客户机与服务器模型:用户利用客户机上的客户端程序,如浏览器发出请求,远端网页(Web)服务器程序响应该请求并提供相应的数据。而HTTP代理服务器处于客户机与Web服务器之间,如图1所示,对于Web服务器来说,HTTP代理服务器是客户机,HTTP代理服务器提出请求,Web服务器响应;对于客户机来说,HTTP代理服务器是Web服务器,接受客户机的请求,并将Web服务器上传来的数据转给客户机。
HTTP代理服务器需要实现以下基本功能:
1、接收和解释客户端的请求
2、创建到Web服务器的新连接
3、接收Web服务器发来的响应
4、发出或解释Web服务器的响应并将该响应传回给客户端
综合来看,HTTP代理服务器既可以看做是一个Web服务器,因为它需要完成与客户端的交互,也可以看做是一个客户端,因为它主动请求Web服务器的资源。
HTTP代理服务器具有HTTP网页缓存功能,通过HTTP网页缓存,将客户端已访问的可以缓存的页面存储下来,这样其他客户端再次访问相同网页的时候就可以享受到加速的效果,直接由HTTP网页缓存来回复请求的页面,不用跨WAN去获取,大大缩短了页面访问的时间。
如图2和图3所示,为在出口网关上没有部署HTTP代理服务器和有部署HTTP代理服务器时,局域网不同终端访问同一网页的过程示意图。
基于HTTP协议下载资源也是互联网的重要应用之一,而且交互形式较网页浏览更为多样化。因为网页浏览的客户端程序一定是Web浏览器。而资源下载的客户端程序除了浏览器外,同时还可以是迅雷等专业下载工具,或是杀毒软件、输入法等桌面软件,甚至是微软更新(windows update)等后台进程。随着下载技术的发展,先后出现了以下4类下载模式:单线程普通下载、单线程断点续传下载、单目标多线程下载、多目标多线程下载。
单线程普通下载是最传统也是最简单的下载方式,其中最典型的操作就是IE浏览器的“目标另存为”操作,获取文件的交互形式与获取网页中的一个子对象是完全相同的,区别在于下载时将文件存储于硬盘中,而网页浏览将其展现在浏览器上。除了上述典型操作外,病毒库升级文件下载、拼音词汇库升级文件下载等应用也都是采用了这种传统的下载方式。
采用单线程普通下载有一个很明显的缺点:在下载较大文件过程中,如果遇到意外情况下载中断,那么已经下载的部分就自动被清除,重新下载时又要从头开始,造成资源的浪费,并影响用户体验。为了解决这个问题,产生了可以让用户从中断处继续下载文件的单线程断点续传下载。
在下载过程中,服务器为了防止负载过大,通常会对每个线程的下载速度做限制,导致下载缓慢。此时如果客户端能向该台服务器发起多个线程并发下载不同片段,可以极大地提高下载速度。目前,IE浏览器并不支持这种并发获取多个文件片段的多线程下载,但基于IE内核的第三方浏览器却已经实现,比如360浏览器。多线程下载的方式类似于断点续传。在下载过程中,每个线程请求的统一资源定位符(URL,Uniform Resource Locator)都是一样的,也就是只对一个目标(服务器)发起下载请求,因此称之为单目标多线程下载。
单目标多线程下载通过并发获取文件片段,加快了下载的速度。但是如果面对一个负载很大的服务器,即使对它发起再多的线程,每个线程的下载速度也十分有限。
为了解决这个问题,出现了多目标多线程下载,它会对多个包含有该文件的服务器发出下载请求,并发的从多台服务器获取文件片段,极大提高了文件的下载速度。目前专业的下载工具都提供了多目标多线程下载方式,例如迅雷、网际快车等等,这也是这些下载工具的下载速度高于IE下载的原因。
基于HTTP网页缓存的原理,同样可以对已下载HTTP文件(即基于HTTP协议已下载的文件)进行缓存,以此来达到加速下载的目的,同时节省宝贵的WAN带宽。
可以将现有的4类基于HTTP协议的下载模式(单线程普通下载、单线程断点续传下载、单目标多线程下载和多目标多线程下载)分为两大类,一类是单目标的下载,一类是多目标的下载。单目标下载即从单个URL下载一个文件,多目标下载即从多个URL同时下载一个文件的几个片段,最后合并成一个完整的文件。多个用户从不同URL下载同一个文件也可以认为是多目标下载的一种特例。
目前对已下载HTTP文件进行缓存的产品中,以URL作为已缓存文件的索引,通过用户访问的URL来查询此URL对应的文件是否已经缓存过,如果确定已缓存,则出口网关本地直接传输文件的内容,不需要跨越WAN下载该文件,否则出口网关先去服务器获取此文件,然后再传输给客户端。由于局域网内用户基于HTTP协议下载某一个文件可能访问的是不同的URL,由此导致已缓存文件命中率会比较低,加速效果较差,浪费WAN带宽。比如,张三下载QQ安装程序是通过腾讯的官方网站,而李四是通过华军软件园,这样直接导致李四无法利用出口网关已经缓存的张三下载好的QQ安装程序,需要再次跨越WAN去下载,即李四本次下载没有命中缓存,无法利用已缓存文件进行加速下载,同时无法节省WAN带宽。
发明内容
本发明实施例提供一种文件存储方法、设备、及查找方法、设备和网络设备,用于提高文件查找的命中率。
一种文件存储方法,所述方法包括:
基于超文本传输协议HTTP下载文件后,确定该文件的第一标识及第二标识;
在第一存储空间中,以第一标识作为一级索引,存储所述第二标识;
在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容。
一种文件查找方法,所述方法包括:
确定待查找文件的第一标识;
在确定第一存储空间对应的一级索引中存在所述第一标识时,确定该待查找的文件被找到;或者,
在确定第一存储空间对应的一级索引中不存在所述第一标识时,确定该待查找的文件的第二标识,在确定第二存储空间对应的二级索引中存在所述第二标识时,确定该待查找的文件被找到。
一种文件存储装置,所述装置包括:
确定单元,用于基于超文本传输协议HTTP下载文件后,确定该文件的第一标识及第二标识;
第一存储单元,用于在第一存储空间中,以第一标识作为一级索引,存储所述第二标识;
第二存储单元,用于在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容。
一种文件查找装置,所述装置包括:
第一确定单元,用于确定待查找文件的第一标识;
第一查找单元,用于确定第一存储空间对应的一级索引中是否存在所述第一标识时,若存在,确定该待查找的文件被找到,否则,触发第二确定单元;
第二确定单元,用于确定该待查找的文件的第二标识;
第二查找单元,用于确定第二存储空间对应的二级索引中是否存在所述第二标识时,若存在,确定该待查找的文件被找到。
一种网络设备,所述网络设备包括所述文件存储装置和所述文件查找装置。
根据本发明实施例提供的方案,基于HTTP下载文件后,在存储下载的该文件时,利用该文件的第一标识作为一级索引,在第一存储空间中存储所述第二标识,并在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容,从而实现文件的双索引、二层存储方式,相对于现有技术中的单索引、一层存储的方式,可以在查找某文件时,在查找时使用的第一标识与保存该文件时使用的第一标识不相同,利用第一标识无法查找到该文件时,进一步利用第二标识查找获得,从而提高查找到该文件的命中率。
附图说明
图1为现有技术提供的HTTP代理服务器、客户机与Web服务器的位置关系示意图;
图2为现有技术提供的局域网不同终端访问同一网页的过程示意图;
图3为现有技术提供的局域网不同终端访问同一网页的过程示意图;
图4为本发明实施例一提供的一种文件存储方法的步骤流程图;
图5为本发明实施例二提供的一种文件查找方法的步骤流程图;
图6为本发明实施例三提供的一种文件查找方法的步骤流程图;
图7为本发明实施例四提供的一种文件查找方法的步骤流程图;
图8为本发明实施例五提供的一种文件查找方法的步骤流程图;
图9为本发明实施例六提供的一种文件存储装置的结构示意图;
图10为本发明实施例七提供的一种文件查找装置的结构示意图。
具体实施方式
现有技术方案中,在对基于HTTP下载的文件进行缓存时,将该文件下载的URL作为索引,并在对应的空间中存储该文件的内容,而本发明实施例提供的方案中,利用双索引、双层存储的机制,可以将该文件第一标识,如该文件下载的URL作为一级索引,在第一存储空间中存储该文件的第二标识,如该文件的唯一标识符,并在第二存储空间中,以该文件的第二标识作为二级索引,存储该文件的内容,从而使得查找某文件时使用的URL与下载该文件的URL不同时,可以进一步根据该文件的唯一标识符进行查找,从而提高已缓存的基于HTTP协议下载的文件的命中率,并可以基于缓存进行下载,提高下载速度,并节省WAN带宽。
下面结合说明书附图和各实施例对本发明方案进行说明。
实施例一、
本发明实施例一提供一种文件存储方法,如图4所示为该方法的步骤流程图,包括:
步骤101、确定文件的第一标识及第二标识。
本步骤包括:基于HTTP下载文件后,确定该文件的第一标识及第二标识。
所述第一标识可以为所述文件的下载源对应的URL,所述第二标识可以为所述文件的唯一标识符,如所述第二标识为文件信息-摘要算法5(MD5,Message-Digest Algorithm5)值。
由于在从网络下载的文件中,发生文件重名的可能性较大,但是两个文件重名同时文件大小(可以精确到字节Byte)又完全相同,发生的概率很小,因此文件的文件名和文件的字节数的组合可以作为文件的唯一标识符,用于区分文件。
因此,较优的,所述第二标识可以为所述文件的文件名和所述文件的字节数。
本实施例中,以URL作为第一标识,以文件的文件名和文件的字节数作为第二标识,由于文件的文件名、文件的字节数和URL,均可以通过解析HTTP协议头来获取,从而在该文件下载之前,就可以确定该文件的第一标识和第二标识,而无需在文件下载完成后确定该文件的第一标识和第二标识,可以保证第一标识和第二标识获取的及时性。
步骤102、在第一存储空间进行存储。
本步骤包括:在第一存储空间(可以视为上层存储空间)中,以第一标识作为一级索引,存储所述第二标识。
以URL作为第一标识,以文件的文件名和文件的字节数作为第二标识时,在该文件下载之前,就可以在第一存储空间中确定一级索引和存储第二标识,而无需要在文件下载完成后才执行在第一存储空间的存储,可以有效减少存储时延,使得后续可以进一步提高查找的命中率。
步骤103、在第二存储空间进行存储。
本步骤包括:在第二存储空间(可以视为底层存储空间)中,以第二标识作为二级索引,存储所述文件的内容。步骤102和步骤103的执行可以不分先后。
经过上述步骤101~步骤103,在存储空间中形成的存储模型可以如表1所示,其中URLA、URLB分别表示下载同一文件的两个下载源对应的URL,存储的文件的文件名为TEST,字节数为10000,该文件的内容信息以TEST内容表示。
表1
本实施例中涉及的存储空间可以符合key-value模型,具体的,所述第一存储空间符合key-value模型,所述第二存储空间符合key-value模型。可以直接使用非关系型数据库实现本发明实施例提供的文件存储方法,所述非关系型数据库可以为Redis,Tokyo Cabinet等数据库。
较优的,为了节约存储空间,可以在步骤101之后,步骤102之前包括步骤102’,和/或,在步骤101之后,步骤103之前包括步骤103’,以便于检验在第一存储空间和/或第二存储空间中是否已经存储了本次需要存储的内容:
步骤102’、确定所述第一存储空间对应的一级索引中是否存在所述第一标识。
通过本步骤,可以避免第一存储空间和第二存储空间的重复存储。如,若终端A和终端B分别从同一个URL(第一标识)下载同一个文件,终端A先于终端B下载完毕,则终端B下载完毕时,第一存储空间可能已经存储了第二标识,此时再根据终端B的下载结果进行存储,将导致第一存储空间的浪费,因此,可以在确定所述第一存储空间对应的一级索引中不存在所述第一标识时,继续执行步骤102,否则,可以继续执行步骤103(或103’),也可以结束存储流程。
步骤103’、确定所述第二存储空间对应的二级索引中是否存在所述第二标识。
通过本步骤,可以避免第二存储空间的重复存储。如,若终端A从URL1下载一个文件,同时终端B从URL2下载该文件,若终端A先于终端B下载完毕,则终端B下载完毕该文件时,第二存储空间可能已经存储了该文件的文件内容,此时再根据终端B的下载结果进行存储,将导致第二存储空间的浪费,因此,可以在确定所述第二存储空间对应的二级索引中不存在所述第二标识时,继续执行步骤103,否则,可以结束存储流程。
根据本发明实施例一提供的文件存储方法,不仅可以保证后期对使用所述文件存储方法进行存储的文件查找的命中率,且根据本发明实施例一提供的文件存储方法还可以进一步通过判断第一存储空间和/或第二存储空间是否已执行过相同的存储操作,仅在未执行相同的存储操作时进行存储,从而避免重复存储,减少存储空间的浪费。
实施例二、
本发明实施例二提供一种文件查找方法,如图5所示为该方法的步骤流程图,包括:
步骤201、确定待查找文件的第一标识。
步骤202、利用第一标识进行查找。
在确定第一存储空间对应的一级索引中存在所述第一标识时,确定该待查找的文件被找到,结束查找流程,并可以确定该第一标识索引的空间中的第二标识,通过该第二标识索引的空间中的内容确定该文件的文件内容,否则,继续执行步骤203。
步骤203、确定该待查找的文件的第二标识。
若本实施例提供的查找过程是在基于HTTP下载文件的过程中,从缓存的已下载文件中查找本次需要下载的文件,且所述第二标识为该待查找的文件的文件名和字节数,由于文件的文件名和字节数均可以通过解析HTTP协议头来获取,因此,可以通过以下方式确定该待查找的文件(本次需要下载的文件)的第二标识:
向服务器发送下载该待查找的文件的请求;
根据所述服务器返回的应答信息,解析该应答信息,并从中确定该待查找的文件的第二标识。
步骤204、利用第二标识进行查找。
在确定第二存储空间对应的二级索引中存在所述第二标识时,确定该待查找的文件被找到,并可以通过该第二标识索引的空间中的内容确定该文件的文件内容,否则,可以确定该待查找的文件没有被找到。
本发明实施例二提供的文件查找方法基于本发明实施例一提供的文件存储方法,该文件查找方法相对于现有技术利用URL(第一标识)作为索引,在存储空间中存储文件文件内容并进行查找的方法,可以在URL动态新增过程中或已存储的文件是通过其他URL下载的情况下,通过第二标识进行文件的查找,从而有效提高文件查找的命中率。
本发明实施例一提供的方案适用于基于HTTP下载文件过程中,缓存已下载的文件。本发明实施例二提供的方案适用于基于HTTP下载文件过程中,在已缓存文件中查找待下载的文件。下面以出口网关上设置有HTTP文件缓存设备,用于缓存已下载的文件,且根据本发明实施例一和实施例二提供的方案,文件存储和查找时使用的第一标识为文件的下载源对应的URL,第二标识为文件的文件名和字节数为例,分别对客户端向web服务器请求下载某文件时,通过该文件的第一标识和第二标识均未命中已下载的该文件、通过第一标识命中已下载的该文件和通过第二标识命中已下载的该文件的文件查找过程进行说明。
实施例三、
本发明实施例三提供一种文件查找方法,如图6所示为该方法的步骤流程图,包括:
步骤301、客户端向出口网关发起下载请求。
所述下载请求中可以包括需要下载文件的标识。如,需要下载文件的第一标识,本实施例中,第一标识可以为需要下载的文件对应的URL。
步骤302、出口网关利用第一标识进行查找。
本步骤中,出口网关可以确定需要下载文件的第一标识,并根据客户端需要下载的文件对应的URL(第一标识),确定HTTP文件缓存设备中是否缓存有该文件,若HTTP文件缓存设备中的第一层存储空间的一级索引中不存在该URL,则继续执行步骤303。
步骤303、出口网关向web服务器透传下载请求。
本步骤中,出口网关可以将从客户端接收到的下载请求进一步发送给web服务器。
步骤304、web服务器向出口网关返回应答消息头。
该应答消息头包括所述需要下载的文件的第二标识。本实施例中,第二标识为需要下载的文件的文件名和字节数。
步骤305、出口网关利用第二标识进行查找。
本步骤中,出口网关若确定HTTP文件缓存设备中的第二层存储空间的二级索引中不存在所述需要下载的文件的第二标识,则确定HTTP文件缓存设备中没有缓存该文件。
此时,可以确定HTTP文件缓存设备中没有缓存需要下载的文件,结束查找流程。出口网关可以继续从web服务器获取应答内容,该应答内容中包括客户端需要下载的文件的内容,并可以将获取的应答内容进一步发送给客户端。
当然,出口网关在获取应答内容后,还可以根据本发明实施例一提供的方案执行文件的存储。
实施例四、
本发明实施例四提供一种文件查找方法,如图7所示为该方法的步骤流程图,包括:
步骤401、客户端向出口网关发起下载请求。
所述下载请求中可以包括需要下载文件的标识。如,需要下载文件的第一标识,本实施例中,第一标识可以为需要下载的文件对应的URL。
步骤402、出口网关利用第一标识进行查找。
本步骤中,出口网关可以根据客户端需要下载的文件对应的URL,确定HTTP文件缓存设备中是否缓存有该文件,若HTTP文件缓存设备中的第一层存储空间的一级索引中存在该URL,则可以确定HTTP文件缓存设备中缓存有该文件。
此时,可以确定HTTP文件缓存设备中缓存有需要下载的文件,结束查找流程。出口网关可以确定该第一标识索引的空间中的第二标识,通过该第二标识索引的空间中的内容确定该文件的文件内容,并将获取的文件内容进一步发送给客户端,从而客户端可以基于HTTP文件缓存设备中缓存的文件完成文件的下载。
实施例五、
本发明实施例五提供一种文件查找方法,如图8所示为该方法的步骤流程图,包括:
步骤501、客户端向出口网关发起下载请求。
所述下载请求中可以包括需要下载文件的标识。如,需要下载文件的第一标识,本实施例中,第一标识可以为需要下载的文件对应的URL。
步骤502、出口网关利用第一标识进行查找。
本步骤中,出口网关可以根据客户端需要下载的文件对应的URL,确定HTTP文件缓存设备中是否缓存有该文件,若HTTP文件缓存设备中的第一层存储空间的一级索引中不存在该URL,则继续执行步骤503。
步骤503、出口网关向web服务器透传下载请求。
本步骤中,出口网关可以将从客户端接收到的下载请求进一步发送给web服务器。
步骤504、web服务器向出口网关返回应答消息头。
该应答消息头包括所述需要下载的文件的第二标识。本实施例中,第二标识为需要下载的文件的文件名和字节数。
步骤505、出口网关利用第二标识进行查找。
本步骤中,出口网关若确定HTTP文件缓存设备中的第二层存储空间的二级索引中存在所述需要下载的文件的第二标识,则确定HTTP文件缓存设备中缓存有该文件。
此时,可以确定HTTP文件缓存设备中缓存有需要下载的文件,结束查找流程。出口网关可以通过该第二标识索引的空间中的内容确定该文件的文件内容,并将获取的文件内容进一步发送给客户端,从而客户端可以基于HTTP文件缓存设备中缓存的文件完成文件的下载。
与本发明实施例一基于同一发明构思,提供以下的装置。
实施例六、
本发明实施例六提供一种文件存储装置,如图9所示为该装置的结构示意图,包括:
识别单元11用于基于超文本传输协议HTTP下载文件后,确定该文件的第一标识及第二标识;第一存储单元12用于在第一存储空间中,以第一标识作为一级索引,存储所述第二标识;第二存储单元13用于在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容。
所述装置还包括:
第一确定单元14用于在第一存储空间中,以第一标识作为一级索引,存储所述第二标识之前,确定所述第一存储空间对应的一级索引中不存在所述第一标识。
第二确定单元15用于在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容之前,确定所述第二存储空间对应的二级索引中不存在所述第二标识。
与本发明实施例二~五基于同一发明构思,提供以下的装置。
实施例七、
本发明实施例七提供一种文件查找装置,如图10所示为该装置的结构示意图,包括:
第一确定单元21用于确定待查找文件的第一标识;第一查找单元22用于确定第一存储空间对应的一级索引中是否存在所述第一标识时,若存在,确定该待查找的文件被找到,否则,触发第二确定单元;第二确定单元23用于确定该待查找的文件的第二标识;第二查找单元24用于确定第二存储空间对应的二级索引中是否存在所述第二标识时,若存在,确定该待查找的文件被找到。
第二确定单元23具体用于在所述第二标识为所述文件的文件名和所述文件的字节数时,向服务器发送下载该待查找的文件的请求,根据所述服务器返回的应答信息,确定该待查找的文件的第二标识。
本发明实施例六提供的文件存储装置和本发明实施例七提供的文件查找装置可以集成在同一台网络设备中,即一个网络设备中既包括所述文件存储装置,也包括所述文件查找装置,并执行相应的功能。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种文件存储方法,其特征在于,所述方法包括:
基于超文本传输协议HTTP下载文件后,确定该文件的第一标识及第二标识,所述第一标识为所述文件的下载源对应的统一资源定位符URL,所述第二标识为所述文件的唯一标识符;
在第一存储空间中,以第一标识作为一级索引,存储所述第二标识;
在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容;
该方法,还包括:
在第一存储空间中,以第一标识作为一级索引,存储所述第二标识之前,确定所述第一存储空间对应的一级索引中不存在所述第一标识;
在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容之前,确定所述第二存储空间对应的二级索引中不存在所述第二标识。
2.如权利要求1所述的方法,其特征在于,所述第二标识为所述文件的文件名和所述文件的字节数。
3.一种在基于权利要求1所述的方法进行文件存储的空间中进行文件查找的方法,其特征在于,所述方法包括:
确定待查找文件的第一标识;
在确定第一存储空间对应的一级索引中存在所述第一标识时,确定该待查找的文件被找到,并确定该第一标识索引的空间中的第二标识,通过该第二标识索引的空间中的内容确定该文件的文件内容;或者,
在确定第一存储空间对应的一级索引中不存在所述第一标识时,确定该待查找的文件的第二标识,在确定第二存储空间对应的二级索引中存在所述第二标识时,确定该待查找的文件被找到,并通过该第二标识索引的空间中的内容确定该文件的文件内容。
4.如权利要求3所述的方法,其特征在于,所述第二标识为所述文件的文件名和所述文件的字节数。
5.如权利要求3或4所述的方法,其特征在于,确定该待查找的文件的第二标识,具体包括:
向服务器发送下载该待查找的文件的请求;
根据所述服务器返回的应答信息,确定该待查找的文件的第二标识。
6.一种文件存储装置,其特征在于,所述装置包括:
识别单元,用于基于超文本传输协议HTTP下载文件后,确定该文件的第一标识及第二标识,所述第一标识为所述文件的下载源对应的统一资源定位符URL,所述第二标识为所述文件的唯一标识符;
第一存储单元,用于在第一存储空间中,以第一标识作为一级索引,存储所述第二标识;
第二存储单元,用于在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容;
所述装置,还包括:
第一确定单元,用于在第一存储空间中,以第一标识作为一级索引,存储所述第二标识之前,确定所述第一存储空间对应的一级索引中不存在所述第一标识;
第二确定单元,用于在第二存储空间中,以第二标识作为二级索引,存储所述文件的内容之前,确定所述第二存储空间对应的二级索引中不存在所述第二标识。
7.一种在基于权利要求1所述的方法进行文件存储的空间中进行文件查找的装置,其特征在于,所述装置包括:
第一确定单元,用于确定待查找文件的第一标识;
第一查找单元,用于确定第一存储空间对应的一级索引中是否存在所述第一标识时,若存在,确定该待查找的文件被找到,并确定该第一标识索引的空间中的第二标识,通过该第二标识索引的空间中的内容确定该文件的文件内容,否则,触发第二确定单元;
第二确定单元,用于确定该待查找的文件的第二标识;
第二查找单元,用于确定第二存储空间对应的二级索引中是否存在所述第二标识时,若存在,确定该待查找的文件被找到,并通过该第二标识索引的空间中的内容确定该文件的文件内容。
8.如权利要求7所述的装置,其特征在于,第二确定单元,具体用于在所述第二标识为所述文件的文件名和所述文件的字节数时,向服务器发送下载该待查找的文件的请求,根据所述服务器返回的应答信息,确定该待查找的文件的第二标识。
9.一种网络设备,其特征在于,所述网络设备包括如权利要求6所述的文件存储装置和如权利要求7所述的文件查找的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110302214.0A CN102333123B (zh) | 2011-10-08 | 2011-10-08 | 文件存储方法、设备、查找方法、设备和网络设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110302214.0A CN102333123B (zh) | 2011-10-08 | 2011-10-08 | 文件存储方法、设备、查找方法、设备和网络设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102333123A CN102333123A (zh) | 2012-01-25 |
CN102333123B true CN102333123B (zh) | 2014-12-24 |
Family
ID=45484724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110302214.0A Active CN102333123B (zh) | 2011-10-08 | 2011-10-08 | 文件存储方法、设备、查找方法、设备和网络设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102333123B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104426718B (zh) * | 2013-09-10 | 2018-04-13 | 方正宽带网络服务股份有限公司 | 数据监听服务器、缓存服务器和重定向下载方法 |
CN103873581A (zh) * | 2014-03-21 | 2014-06-18 | 天脉聚源(北京)传媒科技有限公司 | 一种断点下载的方法及装置 |
CN110020028A (zh) * | 2017-09-01 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种文档创建及访问方法、装置 |
CN111694849A (zh) * | 2019-03-15 | 2020-09-22 | 上海寒武纪信息科技有限公司 | 存储方法及装置、运算方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5784646A (en) * | 1994-04-25 | 1998-07-21 | Sony Corporation | Hierarchical data storage processing apparatus for partitioning resource across the storage hierarchy |
-
2011
- 2011-10-08 CN CN201110302214.0A patent/CN102333123B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102333123A (zh) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11792294B2 (en) | Method and apparatus for reducing loading time of web pages | |
US8069406B2 (en) | Method and system for improving user experience while browsing | |
US9602620B1 (en) | Content-facilitated speculative preparation and rendering | |
US10630758B2 (en) | Method and system for fulfilling server push directives on an edge proxy | |
AU2008286192B2 (en) | Method and/or system for searching network content | |
WO2017190641A1 (zh) | 拦截爬虫的方法、装置、服务器终端以及计算机可读介质 | |
CN105930528B (zh) | 一种网页缓存的方法及服务器 | |
US9311407B2 (en) | Native application search results | |
CN102855334B (zh) | 一种浏览器及其获取dns解析数据的方法 | |
US20120233199A1 (en) | Intelligent Web Caching | |
WO2015106692A1 (en) | Webpage pushing method, client, server, and system | |
WO2016141079A2 (en) | Identifying correlated components of dynamic content | |
US10616356B2 (en) | Optimization of asynchronous pushing of web resources | |
US8484373B2 (en) | System and method for redirecting a request for a non-canonical web page | |
WO2015014145A1 (zh) | 加快子资源加载速度的方法和装置 | |
WO2017202255A1 (zh) | 页面展示方法、装置和客户端设备 | |
WO2013038320A1 (en) | Mobile resource accelerator | |
WO2015074459A1 (zh) | 打开网页、调用客户端及创建轻应用的方法及装置 | |
CN102333123B (zh) | 文件存储方法、设备、查找方法、设备和网络设备 | |
US10021207B1 (en) | Architecture for proactively providing bundled content items to client devices | |
KR102158389B1 (ko) | 컨텐츠 중심 네트워크에서 패킷 특성을 고려하는 노드의 동작 방법 및 노드 | |
WO2012159360A1 (zh) | 网页预取的方法及装置 | |
EP3552115B1 (en) | Reducing redirects | |
CN110830537B (zh) | 一种页面处理方法及装置 | |
US11716405B1 (en) | System and method for identifying cache miss in backend application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |