CN101719936A - 提供文件下载服务的方法、装置及缓存系统 - Google Patents

提供文件下载服务的方法、装置及缓存系统 Download PDF

Info

Publication number
CN101719936A
CN101719936A CN200910259172.XA CN200910259172A CN101719936A CN 101719936 A CN101719936 A CN 101719936A CN 200910259172 A CN200910259172 A CN 200910259172A CN 101719936 A CN101719936 A CN 101719936A
Authority
CN
China
Prior art keywords
file
downloaded
hash
cryptographic hash
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910259172.XA
Other languages
English (en)
Inventor
周树国
兰刚
公晨
王瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Digital Technologies Chengdu Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN200910259172.XA priority Critical patent/CN101719936A/zh
Publication of CN101719936A publication Critical patent/CN101719936A/zh
Priority to EP10835490.3A priority patent/EP2503759A4/en
Priority to PCT/CN2010/079590 priority patent/WO2011069455A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种提供文件下载服务的方法,该方法包括:接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;当在预设的缓存文件信息列表中查找到相同的哈希值时,向所述客户端提供所述待下载文件。该方法有效的减少了对待下载文件重复下载的次数,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用。

Description

提供文件下载服务的方法、装置及缓存系统
技术领域
本发明涉及通信技术领域,尤其涉及一种提供文件下载服务的方法、装置及缓存系统。
背景技术
缓存系统技术的发展随着互联网技术的发展而快速发展,目前内容缓存技术的发展已经经历了网页缓存、内容分发网络、P2P缓存、HTTP视频共享/P2SP下载缓存及基于特有应用缓存的几个阶段。HTTP缓存系统是通过管理和控制HTTP下载流量,在本地预先缓存HTTP下载资源,引导内网用户优先获取本地HTTP下载流量,以在满足用户的HTTP下载需求的同时节省出口流量,提高用户的下载速度。
在对现有技术的研究和实践过程中,发明人发现,现有HTTP缓存系统在提供文件下载服务时,主要依靠URL(Uniform Resource Locator,统一资源定位符,即网页地址)与文件名来判断缓存系统中是否存储有相应的目标文件,从而决定是否使用缓存系统中的已缓存文件向内网用户提供下载服务,由于不同的站点在发布相同内容的文件时,会使用不同的URL,文件名也往往不同,因此,单纯依靠URL与文件名结合的方式往往不能准确的判断缓存系统中缓存文件的唯一性,造成同一个文件在缓存系统中被重复缓存多次的状况,浪费了大量的存储空间和下载流量。
发明内容
本发明实施例提供一种提供文件下载服务的方法、装置及缓存系统,能够相对准确的判断缓存系统中缓存文件的唯一性,进而根据判断结果向用户提供文件下载服务,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用。
根据本发明实施例的一个方面,提供一种提供文件下载服务的方法,包括:
接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
根据本发明实施例的另一个方面,提供一种提供文件下载服务装置,包括接收单元、获取单元、哈希单元以及第一处理单元,其中所述接收单元用于接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;所述获取单元用于根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;所述哈希单元用于通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;所述第一处理单元用于当在预设的缓存文件信息列表中查找到与所述哈希单元获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
根据本发明实施例的再一方面,提供一种缓存系统,包括:提供文件下载服务的装置以及N个缓存服务器,其中N为自然数,其中:所述提供文件下载服务的装置,用于接收来自于客户端的下载请求,根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值,当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,将所述下载请求重定向至至少一个缓存服务器,以向所述客户端提供所述待下载文件,所述下载请求中包含有目标网址URL以及待下载文件名信息;所述缓存服务器,用于缓存待下载文件。
由上可见,本发明实施例采用的技术方案将已缓存文件的预设字段字节组合后进行哈希处理获得的哈希值作为已缓存文件在缓存系统中的识别标识,当下载文件时,按照预设的预取规则向目标网站预取待下载文件的部分字节,并对所述预取的部分字节进行哈希处理获得相应的哈希值,将获得的所述哈希值与预设的缓存文件信息列表中的哈希值信息进行对比,当在预设的缓存文件信息列表中查找到相同的哈希值时,向所述客户端提供所述待下载文件。这种通过利用对待下载文件预取部分字节进行哈希处理的方式来判断缓存系统中是否缓存有所述待下载文件的方法,与单纯依靠URL与文件名结合的方式来判断缓存系统中缓存文件的唯一性相比,更加准确,从而有效的减少了对待下载文件重复下载的次数,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是是本发明实施例一提供的一种提供文件下载服务的方法流程图;
图2是本发明实施例二提供的一种提供文件下载服务的方法流程图;
图3是本发明实施例三提供的一种提供文件下载服务的装置示意图;
图4是本发明实施例四提供的另一种提供文件下载服务的装置示意图;
图5是本发明实施例五提供的一种缓存系统的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例一提供的一种提供文件下载服务的方法流程图,如图1所示,该方法包括:
步骤100,接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
具体的,该下载请求包括用户通过HTTP协议发送的GET请求,该请求中包含有用户待下载的文件名信息及目标网站的URL。
步骤105,根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
具体的,在向目标网站预取待下载文件的部分字节时,可以按照预设的预取规则对所述待下载文件按照预设的大小进行分块分片后预取该待下载文件预设字段的部分字节。
步骤110,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
具体的,可以将预取的部分字节按设定的顺序组成一段数据,对该段数据进行哈希HASH处理,获得相应的哈希值。可以理解的是,在进行哈希处理时使用的哈希算法包括但不限于MD5算法、SHA1算法。
步骤115,当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
具体的,在本发明实施例所述的缓存系统中可以预先设置有缓存文件信息列表,该列表中包含有已缓存文件的哈希值信息以及对应的缓存位置信息,所述哈希值信息包括根据对已缓存文件按照预设字段的字节进行哈希处理后获得的哈希值,且将该哈希值作为已缓存文件的识别标识。
具体的,所述缓存文件信息列表中的哈希值信息也是通过对已缓存文件按照同样的预设大小进行分块分片后,对已缓存文件相同位置的部分字节进行哈希处理得到的,且使用的哈希算法也相同,换句话说,缓存系统中对已缓存文件的部分字节进行哈希处理的方式与对目标网站的所述待下载文件预取字节的哈希处理方式是相同的。
当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,可以说明该缓存系统中已经缓存有用户要下载的相应文件,缓存系统可以将已缓存的所述待下载文件提供给内网用户下载,以在满足用户的HTTP下载需求的同时节省出口流量,提高用户的下载速度。
本发明实施例所述的提供文件下载服务的方法将已缓存文件的预设字段字节组合后进行哈希处理获得的哈希值作为已缓存文件在缓存系统中的识别标识,当下载文件时,按照预设的预取规则向目标网站预取待下载文件的部分字节,并对所述预取的部分字节进行哈希处理获得相应的哈希值,将获得的所述哈希值与预设的缓存文件信息列表中的哈希值信息进行对比,当在预设的缓存文件信息列表中查找到相同的哈希值时,向所述客户端提供所述待下载文件。这种通过利用对待下载文件预取部分字节进行哈希处理的方式来判断缓存系统中是否缓存有所述待下载文件的方法,与单纯依靠URL与文件名结合的方式来判断缓存系统中缓存文件的唯一性相比,更加准确,从而有效的减少了对待下载文件重复下载的次数,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用。
为便于更好的理解本发明实施例的技术方案,下面通过更为具体的实施例对本发明技术方案进行进一步详细的描述。
图2为本发明实施例二提供的一种提供文件下载服务的方法流程图,如图2所示,该方法包括:
步骤200,接收用户的GET请求,进入步骤205;
具体的,该请求中包含有用户待下载的文件名及目标网站的URL。
步骤205,解析所述GET请求,获得所述用户要访问的URL及待下载文件文件名,进入步骤210;
步骤210,根据预设的预取规则以及所述URL及文件名向目标网站预取下载文件的部分字节,进入步骤215;
具体的,缓存系统可以根据所述URL及文件名向目标网站预取待下载文件的部分字节,在向目标网站预取待下载文件的部分字节时,可以按照预设的预取规则对所述待下载文件按预设大小进行分块分片后预取该待下载文件预设字段的部分字节。
具体的,缓存系统在向目标网址预取下载文件时,可以按照设定的大小对该文件进行分块分片,例如如果设定的大小是每2MB为一块,128KB为一片的话,若所述待下载文件有30MB,则缓存系统在预取时可以按每块2MB的大小将所述待下载文件划分为15个文件分块,再按每片128KB的大小对每一个文件分块进行分片,将每一个文件分块分为16片。此时,缓存系统可以按设定的规则在该待下载文件的各个文件分块的不同的分片中取出若干个字节或整个分片,可以理解的是,对待下载文件按照设定的预取规则预取字节的方式有很多种,例如可以预取每一个文件分块的第一个分片中的若干字节,当然,也可以预取各个文件分块中的其他分片的字节。
步骤215,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值,进入步骤220;
具体的,当预取待下载文件的部分字节后,可以将预取的部分字节按设定的顺序组成一段数据,并通过对该段数据进行哈希处理获得哈希值。可以理解的是,在进行哈希处理时使用的哈希算法包括但不限于MD5算法、SHA1算法。
步骤220,判断在预设的缓存文件信息列表中是否能查找到与步骤215中哈希处理获得的哈希值相同的哈希值,如果可以,则进入步骤225,否则进入步骤230;
具体的,在本发明实施例所述的缓存系统中可以预先设置有缓存文件信息列表,该列表中包含有已缓存文件的哈希值信息以及对应的缓存位置信息,所述哈希值信息包括根据对已缓存文件按照预设字段的字节进行哈希处理后获得的哈希值,且将该哈希值作为已缓存文件的识别标识。
具体的,缓存系统中预存的哈希值信息也是通过对已缓存文件按照同样的预设大小进行分块分片后,对相同位置的部分字节进行哈希处理得到的,且使用的哈希算法也相同,也就是说,缓存系统中对已缓存文件的部分字节进行哈希处理的方式与对所述待下载文件预取字节的哈希处理方式是相同的。
步骤225,将该用户的下载请求重定向到相应的缓存服务器,以向用户提供该下载文件;
当在预设的缓存文件信息列表中查找到相同的哈希值时,可以说明该缓存系统中已经缓存有用户要下载的相应文件,可以根据所述缓存文件信息列表中所述哈希值对应的缓存位置信息将所述客户端的下载请求重定向到相应的缓存服务器,以向所述客户端提供所述待下载文件,以在满足内网用户的HTTP下载需求的同时节省出口流量,提高用户的下载速度。可以理解的是,缓存服务器可以有多个。
步骤230,判断所述待下载文件是否达到设置的缓存热度,如果达到缓存热度则进入步骤235,否则,进入步骤240;
当在预设的缓存文件信息列表中没有查找到相同的哈希值时,说明缓存系统中没有缓存所述待下载文件,此时,可以进一步判断对该待下载文件的访问次数是否达到设置的缓存热度,当对所述待下载文件的访问次数达到预设的缓存热度时,进入步骤235,否则,进入步骤240。
所述缓存热度是用于衡量缓存系统缓存待下载文件的一个标准,可以通过被访问次数来表示,当待下载文件被用户访问的次数达到设置的访问次数时,说明该待下载文件被访问次数较多,为了使内网用户能够快速下载该待下载文件,同时节省网络资源,缓存系统可以将被访问次数达到缓存热度(即被访问次数达到设置的访问次数)的文件进行缓存,再将已缓存的文件提供给内网用户。本领域人员可以知道,为了判断对所述待下载文件的访问次数是否达到缓存热度,可以通过对待下载文件的被访问次数进行记录来获得,例如,可以设置一个记录表对内网用户要下载的文件以及该文件的被访问次数进行记录。
步骤235,对该待下载文件进行缓存,同时向用户提供该待下载文件;
具体的,当待下载文件达到设置的缓存热度时,即该待下载文件被访问的次数达到预设的访问次数时,通知缓存服务器根据所述URL及待下载文件名向所述目标网站下载所述待下载文件进行缓存,并将客户端的下载请求重定向至该缓存服务器,以向所述客户端提供所述待下载文件,以提高用户的下载速度,节省网络资源。当然,可以理解的是,缓存系统中可以存在至少一个缓存服务器,当存在多个(至少两个)缓存服务器时,可以通知其中一个缓存服务器向所述目标网站下载所述待下载文件进行缓存。
进一步的,在缓存服务器向所述目标网站下载所述待下载文件进行缓存后,可以对所述缓存文件信息列表进行更新,具体的,可以对所述待下载文件按照预设的哈希处理方式,将所述待下载文件按照预设的大小进行分块分片后,对预设位置的部分字节进行哈希处理,并将获得的哈希值以及该待下载文件的缓存位置信息记录于所述缓存文件信息列表中。
步骤240,记录所述客户端向目标网站下载所述待下载文件的操作。
具体的,当所述待下载文件未达到预设的缓存热度时,不影响用户向目标网站下载该待下载文件,记录用户的此次下载操作,用以更新所述待下载文件的缓存热度,例如,可以将所述待下载文件的被访问次数加1,但不限于上述更新方式。
本发明实施例所述的提供文件下载服务的方法将已缓存文件的预设字段字节组合后进行哈希处理获得的哈希值作为已缓存文件在缓存系统中的识别标识,当下载文件时,通过利用对待下载文件按照预设的预取规则预取部分字节进行哈希处理的方式来判断缓存系统中是否缓存有所述待下载文件的方法,与单纯依靠URL与文件名结合的方式来判断缓存系统中缓存文件的唯一性相比,更加准确,从而有效的减少了对待下载文件重复下载的次数,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用,同时节省了出口流量,降低了带宽占用。
图3为本发明实施例三提供的一种提供文件下载服务的装置的结构示意图,如图3所示,该装置包括:
接收单元300,用于接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
具体的,该下载请求包括用户通过HTTP协议发送的GET请求,该请求中包含有用户待下载的文件名信息及目标网站的URL。
获取单元305,用于根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
具体的,获取单元305在向目标网站预取待下载文件的部分字节时,可以按照预设的预取规则对所述待下载文件按照预设的大小进行分块分片后预取该待下载文件预设字段的部分字节。
具体的,获取单元305在向目标网址预取下载文件时,可以按照设定的大小对该文件进行分块分片,例如如果设定的规则是每2MB为一块,128KB为一片的话,若所述待下载文件有30MB,则缓存系统在预取时可以按每块2MB的大小将所述待下载文件划分为15个文件分块,再按每片128KB的大小对每一个文件分块进行分片,将每一个文件分块分为16片。此时,获取单元305可以按设定的规则在该待下载文件的各个文件分块的不同的分片中,取出若干个字节或整个分片,可以理解的是,对待下载文件按照设定的规则预取字节的方式有很多种,例如可以预取每一个文件分块的第一个分片中的若干字节,当然,也可以预取各个文件分块中的其他分片的字节。
哈希单元310,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
具体的,哈希单元310可以将预取的部分字节按设定的顺序组成一段数据,对该段数据进行哈希HASH处理,获得哈希值,可以理解的是,在进行哈希处理时使用的哈希算法包括但不限于MD5算法、SHA1算法。
第一处理单元315,用于当在预设的缓存文件信息列表中查找到与所述哈希单元获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
具体的,在本发明实施例所述的提供文件下载服务的装置中可以预先设置有缓存文件信息列表,该列表中包含有已缓存文件的哈希值信息以及对应的缓存位置信息,所述哈希值信息包括根据对已缓存文件按照预设字段的字节进行哈希处理后获得的哈希值,且将该哈希值作为已缓存文件的识别标识。
当然,本领域技术人员可以知道,所述缓存文件信息列表中的哈希值信息也是通过对已缓存文件按照同样的预设大小进行分块分片后,对已缓存文件相同位置的部分字节进行哈希处理得到的,且使用的哈希算法也相同,换句话说,缓存系统中对已缓存文件的部分字节进行哈希处理的方式与对目标网站的所述待下载文件预取字节的哈希处理方式是相同的。
可以理解的是,本实施例所述的提供文件下载服务的装置的各个功能模块的功能可以根据上述方法实施例一中的方法具体实现,其具体实现过程可参照上述实施例一中的相关描述,此处不再赘述。本实施例提供文件下载服务的装置的各个功能模块可以设置于一个或多个设备上。例如,本发明实施例所述的提供文件下载服务的装置可以是资源管理服务器。
由上可见,本实施例的一种提供文件下载服务的装置通过向目标网站按照预设的预取规则预取待下载文件相应位置的部分字节,并对预取的部分字节组合后进行哈希处理,通过将得到的哈希结果与预设的缓存文件信息列表中的哈希值信息进行对比来判断缓存系统中是否缓存有所述待下载文件,进而向客户端提供所述待下载文件。该装置与现有的单纯依靠URL与文件名结合的方式来向用户提供缓存服务的缓存系统相比,有效的减少了缓存系统对待下载文件重复下载的次数,节省了存储空间,同时节省了出口流量,降低了带宽占用。
图4为本发明实施例四提供的一种提供文件下载服务的装置示意图,如图4所示,本发明实施例所述的装置在图3所述的装置实施例的基础上,还可以包括:
设置单元312,用于根据已缓存文件设置并更新缓存文件信息列表。
所述第一处理单元具体用于:
当在预设的缓存文件信息列表中查找到相同的哈希值时,根据所述哈希值对应的缓存位置信息将所述客户端的下载请求重定向到相应的缓存服务器,向所述客户端提供所述待下载文件。
进一步的,所述提供文件下载服务的装置还可以包括:
查找单元314,用于根据哈希处理单元所获得的哈希值在预设的缓存文件信息列表中查找与所述哈希单元获得的哈希值相同的哈希值。
具体的,当所述查找单元314根据哈希单元所获得的哈希值在预设的缓存文件信息列表中查找到相同的哈希值时,则说明缓存系统中已经缓存有所述待下载文件,触发第一处理单元315,如果在预设的缓存文件信息列表中没有查找到与所述哈希单元获得的哈希值相同的哈希值,则说明缓存系统中没有缓存所述待下载文件。具体有关于缓存文件信息列表的描述参见上述方法实施例以及装置实施例,在此不再赘述。
进一步的,所述提供文件下载服务的装置还可以包括:
判断单元320,用于当在预设的缓存文件信息列表中没有查找到与所述哈希单元获得的哈希值相同的哈希值时,判断对所述待下载文件的访问次数是否达到预设的缓存热度;
第二处理单元325,用于当判断单元320的判断结果为对所述待下载文件的访问次数达到预设的缓存热度时,通知缓存服务器向所述目标网站下载所述待下载文件进行缓存,并向所述客户端提供所述待下载文件;
第三处理单元330,用于当判断单元320的判断结果为对所述待下载文件的访问次数未达到预设的缓存热度时,记录所述客户端向目标网站下载所述待下载文件的操作。
本实施例所述的提供文件下载服务的装置的各个功能模块的功能可以根据上述方法实施例二中的方法具体实现,其具体实现过程可参照上述实施例二中的相关描述,此处不再赘述。本实施例提供文件下载服务的装置的各个功能模块可以设置于一个或多个设备上。
本实施例的一种提供文件下载服务的装置通过向目标网站按照预设的预取规则预取待下载文件相应位置的部分字节,并对预取的部分字节组合后进行哈希处理,通过将得到的哈希结果与预设的缓存文件信息列表中的哈希值信息进行对比来判断缓存系统中是否缓存有所述待下载文件,进而决定是否向客户端提供所述待下载文件。该装置与现有的单纯依靠URL与文件名结合的方式来向用户提供缓存服务的缓存系统相比,有效的减少了缓存系统对待下载文件重复下载的次数,节省了存储空间,同时节省了出口流量,降低了带宽占用。
进一步的,本发明实施例还提供一种缓存系统,如图5所示,该缓存系统包括提供文件下载服务的装置500以及N个缓存服务器505,其中N为自然数,其中:
所述提供文件下载服务的装置500,用于接收来自于客户端的下载请求,根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值,当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,将所述下载请求重定向至至少一个缓存服务器505,以向所述客户端提供所述待下载文件,所述下载请求中包含有目标网址URL以及待下载文件名信息。
所述缓存服务器505,用于缓存待下载文件。
具体的,所述提供文件下载服务的装置500的具体描述可以参见前述实施例中的提供文件下载服务的装置的具体实施例,在此不再赘述。
本发明实施例提供的缓存系统,将缓存服务器中已缓存文件的预设字段字节组合后进行哈希处理获得的哈希值作为已缓存文件在缓存系统中的识别标识,当下载文件时,通过利用对待下载文件按照预设的预取规则预取部分字节进行哈希处理的方式来判断缓存系统中是否缓存有所述待下载文件,进而向客户端提供缓存服务的方法,与现有的单纯依靠URL与文件名结合的方式来判断缓存系统中缓存文件的唯一性的缓存系统相比,更加准确,从而有效的减少了对待下载文件重复下载的次数,节省了缓存系统中的存储空间,同时节省了出口流量,降低了带宽占用。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read-Only Memory)、随机存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种僵尸网络的检测方法、装置及检测系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种提供文件下载服务的方法,其特征在于,包括:
接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当在预设的缓存文件信息列表中没有查找到与所述哈希处理获得的哈希值相同的哈希值时,判断对所述待下载文件的访问次数是否达到预设的缓存热度;
当对所述待下载文件的访问次数达到预设的缓存热度时,通知缓存服务器向所述目标网站下载所述待下载文件进行缓存,并向所述客户端提供所述待下载文件;
当对所述待下载文件的访问次数未达到预设的缓存热度时,记录所述客户端向目标网站下载所述待下载文件的操作。
3.根据权利要求1或2所述的方法,其特征在于,所述预设的缓存文件信息列表中包含有已缓存文件的哈希值信息以及对应的缓存位置信息,
所述当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件包括:
当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,根据所述哈希值对应的缓存位置信息将所述客户端的下载请求重定向到相应的缓存服务器,以向所述客户端提供所述待下载文件。
4.根据权利要求所述3的方法,其特征在于,所述哈希处理包括通过MD5算法和/或SHA1算法进行哈希处理。
5.一种提供文件下载服务的装置,其特征在于,包括:
接收单元,用于接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
获取单元,用于根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
哈希单元,用于通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
第一处理单元,用于当在预设的缓存文件信息列表中查找到与所述哈希单元获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件。
6.根据权利要求5所述的装置,其特征在于,还包括:
设置单元,用于根据已缓存文件设置并更新缓存文件信息列表,所述缓存文件信息列表中包含有已缓存文件的哈希值信息以及对应的缓存位置信息;
所述第一处理单元具体用于:
当在预设的缓存文件信息列表中查找到与所述哈希单元获得的哈希值相同的哈希值时,根据所述哈希值对应的缓存位置信息将所述客户端的下载请求重定向到相应的缓存服务器,向所述客户端提供所述待下载文件。
7.根据权利要求5所述的装置,其特征在于,还包括:
查找单元,用于根据哈希处理单元所获得的哈希值在预设的缓存文件信息列表中查找与所述哈希单元获得的哈希值相同的哈希值。
8.根据权利要求5-7任意一项所述的装置,其特征在于,还包括:
判断单元,用于当在预设的缓存文件信息列表中没有查找到与所述哈希单元获得的哈希值相同的哈希值时,判断对所述待下载文件的访问次数是否达到预设的缓存热度;
第二处理单元,用于当对所述待下载文件的访问次数达到预设的缓存热度时,通知缓存服务器向所述目标网站下载所述待下载文件进行缓存,并向所述客户端提供所述待下载文件;
第三处理单元,用于当对所述待下载文件的访问次数未达到预设的缓存热度时,记录所述客户端向目标网站下载所述待下载文件的操作。
9.一种缓存系统,其特征在于,包括提供文件下载服务的装置以及N个缓存服务器,其中N为自然数,其中:
所述提供文件下载服务的装置,用于接收来自于客户端的下载请求,根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节,通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值,当在预设的缓存文件信息列表中查找到与所述哈希处理获得的哈希值相同的哈希值时,将所述下载请求重定向至至少一个缓存服务器,以向所述客户端提供所述待下载文件,所述下载请求中包含有目标网址URL以及待下载文件名信息;
所述缓存服务器,用于缓存待下载文件。
10.根据权利要求9所述的缓存系统,其特征在于,所述提供文件下载服务的装置包括:
接收单元,用于接收来自于客户端的下载请求,所述下载请求中包含有目标网址URL以及待下载文件名信息;
获取单元,用于根据所述下载请求中的目标网址URL以及待下载文件名信息以及预设的预取规则向目标网站预取待下载文件的部分字节;
哈希处理单元,用于通过对预取的所述待下载文件的部分字节进行哈希处理获得哈希值;
第一处理单元,用于当在预设的缓存文件信息列表中查找到与所述哈希单元获得的哈希值相同的哈希值时,向所述客户端提供所述待下载文件;
判断单元,用于当在预设的缓存文件信息列表中没有查找到与所述哈希单元获得的哈希值相同的哈希值时,判断对所述待下载文件的访问次数是否达到预设的缓存热度;
第二处理单元,用于当对所述待下载文件的访问次数达到预设的缓存热度时,通知缓存服务器向所述目标网站下载所述待下载文件进行缓存,并向所述客户端提供所述待下载文件;
第三处理单元,用于当对所述待下载文件的访问次数未达到预设的缓存热度时,记录所述客户端向目标网站下载所述待下载文件的操作。
CN200910259172.XA 2009-12-09 2009-12-09 提供文件下载服务的方法、装置及缓存系统 Pending CN101719936A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200910259172.XA CN101719936A (zh) 2009-12-09 2009-12-09 提供文件下载服务的方法、装置及缓存系统
EP10835490.3A EP2503759A4 (en) 2009-12-09 2010-12-09 METHOD, DEVICE AND CACHE SYSTEM FOR PROVIDING A FILE REMOTE SERVICE
PCT/CN2010/079590 WO2011069455A1 (zh) 2009-12-09 2010-12-09 提供文件下载服务的方法、装置及缓存系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910259172.XA CN101719936A (zh) 2009-12-09 2009-12-09 提供文件下载服务的方法、装置及缓存系统

Publications (1)

Publication Number Publication Date
CN101719936A true CN101719936A (zh) 2010-06-02

Family

ID=42434451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910259172.XA Pending CN101719936A (zh) 2009-12-09 2009-12-09 提供文件下载服务的方法、装置及缓存系统

Country Status (3)

Country Link
EP (1) EP2503759A4 (zh)
CN (1) CN101719936A (zh)
WO (1) WO2011069455A1 (zh)

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011069455A1 (zh) * 2009-12-09 2011-06-16 成都市华为赛门铁克科技有限公司 提供文件下载服务的方法、装置及缓存系统
CN102148835A (zh) * 2011-04-27 2011-08-10 许式伟 一种电子文档传递和分享的方法和系统
CN102216930A (zh) * 2010-12-14 2011-10-12 华为技术有限公司 Web请求调度方法及系统
CN102244900A (zh) * 2011-07-15 2011-11-16 上海华为技术有限公司 缓存数据热度值的同步方法、分布缓存方法、装置及系统
CN102355486A (zh) * 2011-08-11 2012-02-15 深圳市迅雷网络技术有限公司 一种下载数据的方法及装置
CN102624861A (zh) * 2011-11-28 2012-08-01 苏州奇可思信息科技有限公司 面向企业网络的操作系统升级补丁更新方法
CN102750287A (zh) * 2011-04-21 2012-10-24 腾讯科技(深圳)有限公司 收录索引信息的方法及下载验证服务器
CN102790790A (zh) * 2011-10-21 2012-11-21 北京安天电子设备有限公司 快速获取web服务器文件完整性的校验系统及方法
WO2012171391A1 (zh) * 2011-06-15 2012-12-20 中兴通讯股份有限公司 一种访问网络资源的优化方法、网页浏览器和终端
CN102882939A (zh) * 2012-09-10 2013-01-16 北京蓝汛通信技术有限责任公司 负载均衡方法、设备及泛域名加速访问系统
CN102932473A (zh) * 2012-11-13 2013-02-13 北京奇虎科技有限公司 跨运营商网络访问网络内容的方法
CN102970384A (zh) * 2012-11-13 2013-03-13 北京奇虎科技有限公司 代理服务器和通信系统
CN103064637A (zh) * 2012-12-24 2013-04-24 珠海金山办公软件有限公司 一种网盘的缓存同步方法及系统
CN103118045A (zh) * 2011-11-17 2013-05-22 腾讯科技(深圳)有限公司 一种离线下载的方法及系统
CN103139252A (zh) * 2011-11-30 2013-06-05 北京网康科技有限公司 一种网络代理缓存加速的实现方法及其装置
CN103179187A (zh) * 2013-01-06 2013-06-26 深圳市联合创意信息技术有限公司 一种应用下载服务器终端管理系统
CN103198119A (zh) * 2013-04-02 2013-07-10 浪潮电子信息产业股份有限公司 一种快速查找具有相同重复数据删除标识的所有链接文件的方法
WO2013107212A1 (zh) * 2012-01-19 2013-07-25 腾讯科技(深圳)有限公司 一种文件下载方法、装置及系统
CN103248407A (zh) * 2013-04-27 2013-08-14 东莞宇龙通信科技有限公司 一种移动终端及其访问、共享网络资源的方法和系统
CN103269382A (zh) * 2013-06-13 2013-08-28 中国科学院计算技术研究所 一种BitTorrent和eMule下载文件的关联方法
CN103338249A (zh) * 2013-06-26 2013-10-02 优视科技有限公司 缓存方法及装置
WO2013143367A1 (en) * 2012-03-30 2013-10-03 Tencent Technology (Shenzhen) Company Limited Method and system for resource download
CN103368951A (zh) * 2013-06-29 2013-10-23 广州市动景计算机科技有限公司 文件下载方法及系统
CN103812881A (zh) * 2012-11-06 2014-05-21 腾讯科技(深圳)有限公司 离线下载控制方法及装置
CN104077310A (zh) * 2013-03-28 2014-10-01 联想(北京)有限公司 加载资源文件的方法、设备和系统
CN104092734A (zh) * 2014-06-23 2014-10-08 吕志雪 一种数据安全下载的方法及装置
CN104426718A (zh) * 2013-09-10 2015-03-18 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
CN104426946A (zh) * 2013-08-27 2015-03-18 腾讯科技(深圳)有限公司 批量下载数据处理方法和装置
WO2015074500A1 (zh) * 2013-11-20 2015-05-28 乐视网信息技术(北京)股份有限公司 一种基于cdn的广告素材下载方法、装置及设备
CN104714965A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
CN104811425A (zh) * 2014-01-27 2015-07-29 中兴通讯股份有限公司 一种多媒体传输的方法及终端、服务器
CN104901996A (zh) * 2015-01-15 2015-09-09 南京师范大学 分布式缓存协同中避免内容重复存储的方法和装置
WO2016086789A1 (zh) * 2014-12-02 2016-06-09 阿里巴巴集团控股有限公司 一种确定数据文件存在的方法、装置及系统
CN107172112A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 一种计算机文件传输方法及装置
CN107278366A (zh) * 2017-05-27 2017-10-20 福建联迪商用设备有限公司 一种提高下载效率的下载方法及其下载系统
CN108520077A (zh) * 2018-04-20 2018-09-11 广东五科技股份有限公司 一种避免重复下载的方法和装置
CN108777691A (zh) * 2018-06-12 2018-11-09 山东智慧云链网络科技有限公司 网络安全防护方法及装置
CN109756581A (zh) * 2019-03-06 2019-05-14 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
CN111835856A (zh) * 2020-07-17 2020-10-27 北京百度网讯科技有限公司 文件下载的方法、装置、设备以及存储介质
CN112272210A (zh) * 2020-09-29 2021-01-26 新华三信息安全技术有限公司 一种报文缓存方法及装置
CN112738150A (zh) * 2019-10-29 2021-04-30 厦门白山耘科技有限公司 文件处理方法及装置、传输设备、计算机可读存储介质
CN113590658A (zh) * 2021-07-06 2021-11-02 广州汇思信息科技股份有限公司 一种缓存的数据处理方法、装置、计算机设备和存储介质
CN113779439A (zh) * 2021-08-30 2021-12-10 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质
CN114375565A (zh) * 2020-07-31 2022-04-19 华为技术有限公司 一种文件块下载方法及装置
CN114666319A (zh) * 2022-03-02 2022-06-24 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
US20220237010A1 (en) * 2021-01-28 2022-07-28 Red Hat, Inc. Executing containerized applications using partially downloaded container image files
CN115348254A (zh) * 2022-07-21 2022-11-15 昆仑数智科技有限责任公司 文件打包下载方法、装置、电子设备及存储介质
CN115878676A (zh) * 2023-02-08 2023-03-31 成都数联云算科技有限公司 一种预览文件的方法、装置、设备和介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542858B (zh) * 2011-12-28 2014-06-11 深圳新为软件股份有限公司 课程播放方法和系统
US10282075B2 (en) 2013-06-24 2019-05-07 Microsoft Technology Licensing, Llc Automatic presentation of slide design suggestions
CN103795810A (zh) * 2014-03-03 2014-05-14 深圳市华曦达科技股份有限公司 数据分发系统及方法以及该数据分发系统中的中心服务器
CN105163144A (zh) * 2015-08-06 2015-12-16 苏州百智通信息技术有限公司 在线网络视频p2p传输方法
US9824291B2 (en) 2015-11-13 2017-11-21 Microsoft Technology Licensing, Llc Image analysis based color suggestions
US10528547B2 (en) 2015-11-13 2020-01-07 Microsoft Technology Licensing, Llc Transferring files
US10534748B2 (en) 2015-11-13 2020-01-14 Microsoft Technology Licensing, Llc Content file suggestions
CN106487937A (zh) * 2016-12-30 2017-03-08 郑州云海信息技术有限公司 一种云存储系统文件去重方法及系统
CN107332908B (zh) * 2017-07-03 2020-11-27 网宿科技股份有限公司 一种数据传输方法及其系统
CN111459703B (zh) * 2019-01-03 2024-03-19 深圳市茁壮网络股份有限公司 一种编码检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7543018B2 (en) * 1996-04-11 2009-06-02 Aol Llc, A Delaware Limited Liability Company Caching signatures
US7171222B2 (en) * 2002-09-30 2007-01-30 Comverse, Ltd. Multimedia messaging method and system for transferring multimedia content
DE602005023416D1 (de) * 2004-03-02 2010-10-21 Divinetworks Ltd Verfahren, server und system zum caching von datenströmen
US8225312B2 (en) * 2005-08-12 2012-07-17 Sony Corporation Method and apparatus for downloading software updates
CN101141476A (zh) * 2007-10-09 2008-03-12 创新科存储技术(深圳)有限公司 文件存储、下载方法以及装置
CN101431525B (zh) * 2007-11-06 2012-08-29 北京傲游天下科技有限公司 网络内容加载的加速方法、系统及其服务器和终端
CN101719936A (zh) * 2009-12-09 2010-06-02 成都市华为赛门铁克科技有限公司 提供文件下载服务的方法、装置及缓存系统

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011069455A1 (zh) * 2009-12-09 2011-06-16 成都市华为赛门铁克科技有限公司 提供文件下载服务的方法、装置及缓存系统
CN102216930A (zh) * 2010-12-14 2011-10-12 华为技术有限公司 Web请求调度方法及系统
CN102750287A (zh) * 2011-04-21 2012-10-24 腾讯科技(深圳)有限公司 收录索引信息的方法及下载验证服务器
CN102148835A (zh) * 2011-04-27 2011-08-10 许式伟 一种电子文档传递和分享的方法和系统
WO2012171391A1 (zh) * 2011-06-15 2012-12-20 中兴通讯股份有限公司 一种访问网络资源的优化方法、网页浏览器和终端
CN102244900B (zh) * 2011-07-15 2014-01-22 上海华为技术有限公司 缓存数据热度值的同步方法、分布缓存方法、装置及系统
CN102244900A (zh) * 2011-07-15 2011-11-16 上海华为技术有限公司 缓存数据热度值的同步方法、分布缓存方法、装置及系统
US9326261B2 (en) 2011-07-15 2016-04-26 Huawei Technologies Co., Ltd. Method and apparatus for synchronizing popularity value of cache data and method, apparatus, and system for distributed caching
CN102355486A (zh) * 2011-08-11 2012-02-15 深圳市迅雷网络技术有限公司 一种下载数据的方法及装置
CN102790790A (zh) * 2011-10-21 2012-11-21 北京安天电子设备有限公司 快速获取web服务器文件完整性的校验系统及方法
CN103118045B (zh) * 2011-11-17 2017-03-15 腾讯科技(深圳)有限公司 一种离线下载的方法及系统
CN103118045A (zh) * 2011-11-17 2013-05-22 腾讯科技(深圳)有限公司 一种离线下载的方法及系统
CN102624861A (zh) * 2011-11-28 2012-08-01 苏州奇可思信息科技有限公司 面向企业网络的操作系统升级补丁更新方法
CN103139252A (zh) * 2011-11-30 2013-06-05 北京网康科技有限公司 一种网络代理缓存加速的实现方法及其装置
CN103139252B (zh) * 2011-11-30 2015-12-02 北京网康科技有限公司 一种网络代理缓存加速的实现方法及其装置
WO2013107212A1 (zh) * 2012-01-19 2013-07-25 腾讯科技(深圳)有限公司 一种文件下载方法、装置及系统
US9100380B2 (en) 2012-01-19 2015-08-04 Tencent Technology (Shenzhen) Company Limited File download method, device and system
WO2013143367A1 (en) * 2012-03-30 2013-10-03 Tencent Technology (Shenzhen) Company Limited Method and system for resource download
CN103369002B (zh) * 2012-03-30 2018-03-27 腾讯科技(深圳)有限公司 一种资源下载的方法及系统
CN103369002A (zh) * 2012-03-30 2013-10-23 腾讯科技(深圳)有限公司 一种资源下载的方法及系统
US9438666B2 (en) 2012-03-30 2016-09-06 Tencent Technology (Shenzhen) Company Limited Method and system for resource download
CN102882939B (zh) * 2012-09-10 2015-07-22 北京蓝汛通信技术有限责任公司 负载均衡方法、设备及泛域名加速访问系统
CN102882939A (zh) * 2012-09-10 2013-01-16 北京蓝汛通信技术有限责任公司 负载均衡方法、设备及泛域名加速访问系统
CN103812881B (zh) * 2012-11-06 2018-06-22 腾讯科技(深圳)有限公司 离线下载控制方法及装置
CN103812881A (zh) * 2012-11-06 2014-05-21 腾讯科技(深圳)有限公司 离线下载控制方法及装置
CN102970384B (zh) * 2012-11-13 2016-06-01 北京奇虎科技有限公司 代理服务器和通信系统
CN102932473B (zh) * 2012-11-13 2016-05-11 北京奇虎科技有限公司 跨运营商网络访问网络内容的方法
CN102970384A (zh) * 2012-11-13 2013-03-13 北京奇虎科技有限公司 代理服务器和通信系统
CN102932473A (zh) * 2012-11-13 2013-02-13 北京奇虎科技有限公司 跨运营商网络访问网络内容的方法
CN103064637A (zh) * 2012-12-24 2013-04-24 珠海金山办公软件有限公司 一种网盘的缓存同步方法及系统
CN103179187A (zh) * 2013-01-06 2013-06-26 深圳市联合创意信息技术有限公司 一种应用下载服务器终端管理系统
CN104077310A (zh) * 2013-03-28 2014-10-01 联想(北京)有限公司 加载资源文件的方法、设备和系统
CN104077310B (zh) * 2013-03-28 2018-08-10 联想(北京)有限公司 加载资源文件的方法、设备和系统
CN103198119A (zh) * 2013-04-02 2013-07-10 浪潮电子信息产业股份有限公司 一种快速查找具有相同重复数据删除标识的所有链接文件的方法
CN103248407A (zh) * 2013-04-27 2013-08-14 东莞宇龙通信科技有限公司 一种移动终端及其访问、共享网络资源的方法和系统
CN103248407B (zh) * 2013-04-27 2016-08-10 东莞宇龙通信科技有限公司 一种移动终端及其访问、共享网络资源的方法和系统
CN103269382A (zh) * 2013-06-13 2013-08-28 中国科学院计算技术研究所 一种BitTorrent和eMule下载文件的关联方法
CN103269382B (zh) * 2013-06-13 2016-09-28 中国科学院计算技术研究所 一种BitTorrent和eMule下载文件的关联方法
CN103338249A (zh) * 2013-06-26 2013-10-02 优视科技有限公司 缓存方法及装置
CN103368951A (zh) * 2013-06-29 2013-10-23 广州市动景计算机科技有限公司 文件下载方法及系统
CN103368951B (zh) * 2013-06-29 2017-02-22 广州市动景计算机科技有限公司 文件下载方法及系统
CN104426946A (zh) * 2013-08-27 2015-03-18 腾讯科技(深圳)有限公司 批量下载数据处理方法和装置
CN104426946B (zh) * 2013-08-27 2019-02-22 腾讯科技(深圳)有限公司 批量下载数据处理方法和装置
CN104426718A (zh) * 2013-09-10 2015-03-18 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
CN104426718B (zh) * 2013-09-10 2018-04-13 方正宽带网络服务股份有限公司 数据监听服务器、缓存服务器和重定向下载方法
WO2015074500A1 (zh) * 2013-11-20 2015-05-28 乐视网信息技术(北京)股份有限公司 一种基于cdn的广告素材下载方法、装置及设备
CN104714965B (zh) * 2013-12-16 2019-10-18 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
CN104714965A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
CN104811425A (zh) * 2014-01-27 2015-07-29 中兴通讯股份有限公司 一种多媒体传输的方法及终端、服务器
CN104092734A (zh) * 2014-06-23 2014-10-08 吕志雪 一种数据安全下载的方法及装置
WO2016086789A1 (zh) * 2014-12-02 2016-06-09 阿里巴巴集团控股有限公司 一种确定数据文件存在的方法、装置及系统
CN104901996B (zh) * 2015-01-15 2018-10-16 南京师范大学 分布式缓存协同中避免内容重复存储的方法和装置
CN104901996A (zh) * 2015-01-15 2015-09-09 南京师范大学 分布式缓存协同中避免内容重复存储的方法和装置
CN107172112A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 一种计算机文件传输方法及装置
CN107172112B (zh) * 2016-03-07 2020-10-02 阿里巴巴集团控股有限公司 一种计算机文件传输方法及装置
CN107278366A (zh) * 2017-05-27 2017-10-20 福建联迪商用设备有限公司 一种提高下载效率的下载方法及其下载系统
CN108520077A (zh) * 2018-04-20 2018-09-11 广东五科技股份有限公司 一种避免重复下载的方法和装置
CN108777691A (zh) * 2018-06-12 2018-11-09 山东智慧云链网络科技有限公司 网络安全防护方法及装置
CN108777691B (zh) * 2018-06-12 2022-04-15 山东智慧云链网络科技有限公司 网络安全防护方法及装置
CN109756581A (zh) * 2019-03-06 2019-05-14 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
CN112738150A (zh) * 2019-10-29 2021-04-30 厦门白山耘科技有限公司 文件处理方法及装置、传输设备、计算机可读存储介质
CN111835856A (zh) * 2020-07-17 2020-10-27 北京百度网讯科技有限公司 文件下载的方法、装置、设备以及存储介质
CN111835856B (zh) * 2020-07-17 2022-09-16 北京百度网讯科技有限公司 文件下载的方法、装置、设备以及存储介质
CN114375565A (zh) * 2020-07-31 2022-04-19 华为技术有限公司 一种文件块下载方法及装置
CN112272210A (zh) * 2020-09-29 2021-01-26 新华三信息安全技术有限公司 一种报文缓存方法及装置
CN112272210B (zh) * 2020-09-29 2022-02-22 新华三信息安全技术有限公司 一种报文缓存方法及装置
US20220237010A1 (en) * 2021-01-28 2022-07-28 Red Hat, Inc. Executing containerized applications using partially downloaded container image files
CN113590658A (zh) * 2021-07-06 2021-11-02 广州汇思信息科技股份有限公司 一种缓存的数据处理方法、装置、计算机设备和存储介质
CN113779439A (zh) * 2021-08-30 2021-12-10 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质
CN113779439B (zh) * 2021-08-30 2023-12-08 北京东方网信科技股份有限公司 一种远程文件识别方法、装置、服务器及可读存储介质
CN114666319A (zh) * 2022-03-02 2022-06-24 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
CN114666319B (zh) * 2022-03-02 2024-03-22 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
CN115348254A (zh) * 2022-07-21 2022-11-15 昆仑数智科技有限责任公司 文件打包下载方法、装置、电子设备及存储介质
CN115878676A (zh) * 2023-02-08 2023-03-31 成都数联云算科技有限公司 一种预览文件的方法、装置、设备和介质

Also Published As

Publication number Publication date
EP2503759A1 (en) 2012-09-26
WO2011069455A1 (zh) 2011-06-16
EP2503759A4 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
CN101719936A (zh) 提供文件下载服务的方法、装置及缓存系统
US11792294B2 (en) Method and apparatus for reducing loading time of web pages
JP5826266B2 (ja) ウェブページのネストしたフラグメントキャッシングを処理する方法および装置
US9961159B2 (en) Efficient content delivery over wireless networks using guaranteed prefetching at selected times-of-day
JP5828760B2 (ja) キャッシュを最適化するための方法とシステム
US8990357B2 (en) Method and apparatus for reducing loading time of web pages
CN100557567C (zh) 一种软件版本更新提示的方法、系统及装置
US9690568B2 (en) Client-side script bundle management system
US9147067B2 (en) Security method and apparatus
CN104933363A (zh) 检测恶意文件的方法和装置
CN103455478A (zh) 加速网页访问的方法和装置
JP2013541774A (ja) ウェブサイトスキャンデバイスおよびウェブサイトスキャン方法
CN102761627A (zh) 基于终端访问统计的云网址推荐方法及系统及相关设备
CN107239701B (zh) 识别恶意网站的方法及装置
CN107197359B (zh) 视频文件缓存方法及装置
US20140359066A1 (en) System, method and device for offline downloading resource and computer storage medium
US20120331229A1 (en) Load balancing based upon data usage
CN102567339A (zh) 一种获取起始页的方法、装置和系统
CN110765086A (zh) 一种小文件的目录读取方法、系统、电子设备及存储介质
JP2018532202A5 (zh)
CN110855786B (zh) 针对网络数据请求的处理方法、设备及计算机存储介质
KR102042431B1 (ko) 클라우드 환경에서 웹 캐싱을 위한 메타 정보 저장 방법 및 이를 사용한 웹 서버
WO2015154270A1 (zh) 一种信息搜索的方法以及装置
CN113849125B (zh) 一种cdn服务器磁盘读取的方法、装置及系统
CN105512280A (zh) 缓存站点文件的方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant after: Huawei Symantec Technologies Co., Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant before: Chengdu Huawei Symantec Technologies Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100602