CN103841135A - 文件加速下载方法及装置 - Google Patents

文件加速下载方法及装置 Download PDF

Info

Publication number
CN103841135A
CN103841135A CN201210478409.5A CN201210478409A CN103841135A CN 103841135 A CN103841135 A CN 103841135A CN 201210478409 A CN201210478409 A CN 201210478409A CN 103841135 A CN103841135 A CN 103841135A
Authority
CN
China
Prior art keywords
file
download
downloaded
polymerization
burst
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210478409.5A
Other languages
English (en)
Other versions
CN103841135B (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210478409.5A priority Critical patent/CN103841135B/zh
Publication of CN103841135A publication Critical patent/CN103841135A/zh
Application granted granted Critical
Publication of CN103841135B publication Critical patent/CN103841135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种文件加速下载方法。所述方法包括:接收下载指令,其中所述下载指令对应待下载的至少一文件;根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有一文件序号;在匹配到一个文件集合后,根据文件序号定位待下载的文件;以及将所述定位到的待下载的文件发送至下载终端。本发明也同时公开了一种文件加速下载装置。通过本发明将多个文件进行聚合为文件集合,在下载过程中以文件集合为单位进行交互查询和文件校验,进而减少因下载更新的文件所消耗的网络带宽和协议开销,提升下载效率和资源利用率。

Description

文件加速下载方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及一种文件加速下载方法及装置。
背景技术
目前网络游戏飞速发展,游戏功能越来越丰富,而且游戏更新越来越频繁,网络游戏启动加载时会使用的素材也越来越多。由于在网络游戏制作中使用了大量美工素材,并依据游戏类型设计成2D或3D模式,进而用户在更新游戏场景和内容时需下载相关的文件,尤其是批量小文件,以至消耗服务器的带宽。另外,游戏开发商根据游戏内容或使用情况定期发布补丁文件,以完善游戏软件。而在补丁文件中也包括大量独立小文件,因此用户在下载这些大量独立小文件时也会占用网络资源。为了降低服务器的带宽消耗问题,服务商通过使用P2P技术对文件进行加速下载。在本文中,文件主要是指定期发布的网络游戏或升级补丁包,或是系统补丁(例如操作系统或应用软件的补丁)。
所述P2P技术是指一种节点对节点的对等传输,将各用户相结合成一个网络以共享其间的带宽,共同处理其中的信息。通过采用P2P技术使得整个系统具有动态扩展能力,降低部署成本,提高系统效率和服务可靠性。而由P2P技术演变而来的P2SP技术,它不但支持P2P技术,同时还可以通过检索数据库把服务器资源和P2P资源整合在一起。当用户下载一个文件的时候,会自动搜索其他资源,选择合适的资源进行加速下载,这使得P2SP技术在下载的稳定性和下载的速度上,比传统的P2P技术有着非常大的提高。
但是,现有P2SP技术在下载文件(特别是小文件)时存在一些问题:在下载过程中,每个独立的文件需要多次与服务器进行通信,如果大量的小文件同时下载,协议交互的开销非常大,并且导致每个文件的下载过程中从启动下载至获取第一片数据的时间比较长。
因此,需解决现有技术中存在的上述技术问题。
发明内容
本发明的目的之一是提供一种文件加速下载方法,通过将文件进行逻辑和索引上的聚合为文件集合,在下载过程中以文件集合为单位进行交互查询和文件校验,进而减少因下载或更新文件所消耗的网络带宽和协议开销,并提升下载效率和资源利用率。
为实现上述的目的,本发明提供了一种文件加速下载方法,包括:接收下载指令,其中所述下载指令对应待下载的至少一文件;根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有一文件序号;在匹配到一个文件集合后,根据文件序号定位待下载的文件;以及将所述定位到的待下载的文件发送至下载终端。
为了解决上述问题,本发明还提供一种文件加速下载装置,包括:下载指令获取模块,用于接收下载指令,其中所述下载指令对应待下载的至少一文件;文件集合匹配模块,用于根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有一文件序号;文件定位模块,用于在匹配到一个文件集合后,根据文件序号定位待下载的文件;以及文件传送模块,用于将所述定位到的待下载的文件发送至下载终端。
本发明的优点在于,通过本发明所述的方法及其装置,将文件进行逻辑和索引上的聚合为文件集合,在下载过程中以文件集合为单位进行交互查询和文件校验,进而提升P2SP利用率和下载成功率,尤其是在发布高峰时候;而且可以有效减少查询次数,加快数据分片到达时间,减少协议开销。通过将已完成下载的文件进行注册,增加网络中P2SP资源的供给,有效提升整个系统的P2SP利用率。
附图说明
图1是本发明所述文件加速下载方法具体实施方式的流程示意图;
图2是本发明所述服务器系统的架构示意图;
图3是本发明所述文件加速下载装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图对本发明所述文件加速下载方法及装置的具体实施方式做进一步详细说明。
本发明提出了一种文件加速下载方法及装置,将文件进行逻辑和索引上的聚合为文件集合,在下载过程中以文件集合为单位进行交互查询和文件校验,进而可以有效减少查询次数和带宽消耗,加快数据分片到达时间,减少协议开销;而且提升P2P利用率和下载成功率。此外,通过文件集合的集合标识与文件序号确定所需下载的文件,并通过聚合后的文件集合的每一分片的特征标识进行校验,以确保下载文件的正确性。若文件集合中某一文件内容发生错误,只需重新聚合相关文件,重新生成文件集合的集合标识和文件集合的分片的校验信息,并重新执行发布流程即可。
参见图1所示是本发明文件加速下载方法具体实施方式的流程示意图,包括如下步骤:S110、将多个文件进行逻辑和索引上的聚合以形成至少一文件集合;S115、以文件大小或文件的频度信息将多个文件聚合成文件集合;S120、接收下载指令;S130、根据下载指令中对应文件所映射的集合标识匹配相应的文件集合;S140、在匹配到一个文件集合后,根据文件序号定位待下载的文件;S150、将所述定位到的待下载的文件发送至下载终端;S160、在文件校验时,通过聚合后的文件集合的分片的特征标识进行验证;S170、若文件集合中一文件的内容发生错误,则重新聚合成文件集合,并生成集合标识和所述文件集合的分片的校验信息。
以下对上述步骤做详细说明。
步骤S110:将多个文件进行逻辑和索引上的聚合以形成至少一文件集合。
所述文件主要是指定期发布的网络游戏或升级补丁包,或是系统补丁(例如操作系统或应用软件的补丁)。在本发明具体实施方式中,所述文件为小文件,其大小一般小于阈值,(比如500KB)。按文件大小或文件的频度信息,将所有所述文件进行逻辑和索引上(即分组标识方式)聚合,得到1个或多个不同的文件集合。通过文件集合的编号对文件集合加以排列,例如文件集合SET1、SET2、 SET3…SETn。每一文件集合包括多个文件,包括f1 、f2、 f3、 f4…fn。每一文件具有一文件序号。若有1000个文件,比如可以分成20个文件集合,则每一文件集合包括50个文件。每一文件集合中所有文件聚合后生成一大文件,例如F1、F2、F3、F4、F5…Fn,每一大文件与每一文件集合相对应,比如,F1与SET1对应,F2与SET2对应,F3与SET3对应…Fn与SETn对应。然后按固定大小对大文件进行分片。分片是对聚合后的文件集合(或称大文件)进行逻辑上的切割(具体切割方式在下文有说明),其目的是为了降低下载出错后的成本。也就是说,对每一文件集合进行片段化,并根据每一分片内容计算其特征标识(比如,哈希值信息),作为每一分片的校验信息。若当下载完每一分片后,通过计算下载数据的特征标识(比如,哈希值信息),与校验信息进行比较,以判断下载的分片是否正确,若发现错误可及时重新下载。
通常对大文件进行分片的方式如下,比如一大文件大小为T,分片大小P(T),将大文件划分为N =(T + P(T)- 1)/  P(T)片,分片大小通常和大文件大小有关,比如可以是2M、1M、512KB、256KB、128KB等,通常最小的分片大小为32KB。大文件越大,分片也越大,这与具体实现有关系。不同的大文件的分片大小可以不固定,但需对分片大小进行控制,且控制在一上限值内,以避免分片太多,生成太多校验信息。所有分片的校验信息组成的文件头通常会有一个字段,以表明分片大小。若大文件非常大,比如超过10G,则总的分片数目需固定。每一文件集合具有一唯一的集合标识(或称特征码)。获取所述特征码的方式如下:将大文件进行分片,根据每一分片的内容计算并生成其特征标识(比如,哈希值信息),并将所有哈希值再次进行哈希运算,得到的结果即作为文件集合的唯一集合标识。这样,可以根据文件集合的集合标识以对多个文件在索引上进行聚合。
步骤S115:以文件大小或文件的频度信息将多个文件聚合成文件集合。
在步骤S110中进一步包括步骤S115,对所述文件聚合在逻辑上可采用两种方式。一种方式是按文件大小,比如,尽量使第一文件集合包括的所有文件的文件大小总和与第二文件集合包括的所有文件的文件大小总和保持相同。另一种方式是按文件的频度信息,比如,尽量使第一文件集合包括的所有文件的频度信息总和与第二文件集合包括的所有文件的频度总和保持相同。其中,频度信息是指文件的冷热门程度,通过频度信息大小以表示文件冷热门的级别。通过上述两种在逻辑上的聚合方式,可以保证P2P的利用率和下载成功率,并减少网络协议开销。
步骤S120:接收下载指令。
接收到由客户端所发送下载指令。所述下载指令对应待下载的至少一文件。在本实施方式中,所述下载指令所包括的下载链接或下载链接的特征标识与待下载的文件相对应。比如,接收到基于http-url下载协议的下载指令,所述下载指令所包括的url下载链接或下载链接的哈希值信息,与待下载的文件相对应。其中,所述下载链接可以从Internet互联网获得。
步骤S130:根据下载指令中对应文件所映射的集合标识匹配相应的文件集合。
在接收到下载指令后,根据下载指令所包括的下载链接所映射的对应文件所属文件集合的集合标识,匹配出相应的文件集合。在本发明具体实施方式中,通过下载链接作为索引进行匹配。在其他实施方式中,也可以通过下载链接的哈希值信息作为索引进行匹配。
步骤S140:在匹配到一个文件集合后,根据文件序号定位待下载的文件。
在匹配到文件所属的一个文件集合后,通过文件集合的编号和文件序号可以定位一个具体文件。
步骤S150:将所述定位到的待下载的文件发送至下载终端。
在此步骤中,根据文件的优先级标识优先下载文件集合内所需待下载的文件,并以分片形式发送至下载终端。若用户需下载聚合后文件集合的部分文件,可以将所述部分文件的优先级标识设置为级别高,进而可以优先下载所述的部分文件。而文件集合中的其他文件(优先级低)可稍后下载。比如用户A需要下载f1、f2、f5、f6、f8文件,用户B需要下载f2、f4、f8、f10文件。两位用户需要的文件有相同的也有不同的。但是对于用户A和用户B而言,实际上均只看到聚合后的一大文件Fn,其包括f1、f2、f4、f5、f6、f8、f10。当用户A首先下载时,需优先下载f1、f2、f5、f6、f8,而其他文件比如f4、f10用户A虽然不需要,但是用户B需要。因此,用户A可以在优先下载完所需的文件后,再下载其他文件,并为用户B提供上传服务。同样当用户B首先下载时,需优先下载f2、f4、f8、f10,而其他文件比如f1、f5用户B虽然不需要,但是用户A需要。用户B也可以在优先下载完所需的文件后,再下载其他文件,并为用户A提供上传服务,这样以确保所需的文件以最快速度下载。
步骤S160:在文件校验时,通过聚合后的文件集合的分片的特征标识进行验证。
此步骤为优选步骤,由于在聚合多个文件为文件集合时将文件集合(或称大文件)的每一分片的特征标识(比如,哈希值信息)作为分片的校验信息,于是,在下载的过程中或下载结束后,可以通过使用聚合后的大文件的分片的哈希值信息对已下载的分片进行校验,以确保下载的文件的正确性。
步骤S170:若文件集合中一文件的内容发生错误,则重新聚合成文件集合,并生成集合标识和所述文件集合的分片的校验信息。
此步骤为优选步骤,若文件集合中一文件的内容发生错误,则重新聚合文件集合,并生成唯一的集合标记和所述文件集合的分片的校验信息,以供重新发布。
下面提供本发明所述文件加速下载方法的一实施例,可参考图2及图1所示。所述文件加速下载方法应用于一服务器系统,所述服务器系统(如图2所示)包括文件入口服务器21、文件聚合服务器22、资源处理服务器23、资源索引数据库24、下载源服务器25、资源索引服务器26、Tracker服务器27以及统计服务器28。所述实施例的具体实施方式如下:
步骤10:获取多个文件及其下载链接。
资源处理服务器23接收到由文件入口服务器21所发送的多个文件,包括文件的下载链接、文件内容本身和文件大小。而文件入口服务器21作为发布新的资源文件、系统文件或补丁文件的入口,通常提供一WEB式的管理页面。资源处理服务器23在接收到所述文件后,通过文件聚合服务器22对文件进行聚合。
步骤20:按文件大小或文件的频度信息,将所有所述文件聚合成至少一文件集合。
文件聚合服务器22按文件大小或文件的频度信息,将所有所述文件聚合成至少一文件集合。具体的聚合方式是按文件大小或文件的频度信息,将所有所述文件进行逻辑和索引上的聚合,得到多个不同的文件集合,并以文件集合的编号加以排列。每一文件集合中所有文件聚合后生成一大文件。每一大文件与每一文件集合相对应。然后按固定大小对大文件进行分片。根据每一分片的内容计算并生成其哈希值信息,并将所有哈希值再次进行哈希运算,得到的结果即作为文件集合的唯一集合标识。其中,每一分片的哈希值信息作为分片的校验信息。
步骤30:生成每一文件的哈希值信息、每一文件集合的集合标识以及文件集合中每一分片的校验信息。
资源处理服务器23将通过文件入口服务器21所获取的文件的下载链接、文件大小和文件内容本身进行处理,计算并生成文件的哈希值信息。所述资源处理服务器23可根据聚合后的文件集合的集合标识、索引信息(包括文件集合的编号和文件的编号)和每一分片的校验信息保存至资源索引数据库24中。资源处理服务器23将所接收到的文件内容本身上传至下载源服务器25中,以作为客户端的原始下载源。
步骤40:存储所有所述集合标识、所有所述校验信息和所有所述文件的哈希值信息。
将资源处理服务器23所生成的所有所述集合标识、所有所述校验信息和所有所述文件的哈希值信息进行存储,存储在资源索引数据库24中,以供检索查询。其中,所述资源索引数据库24为一用于存储文件集合的集合标识、索引信息和校验信息的数据库,也用于保存下载链接至对应文件的哈希值信息的映射记录,和文件的哈希值信息至对应下载链接的映射记录,以及下载链接至对应文件所属文件集合的集合标识的映射记录。另外,所述资源索引数据库24也用于接受资源索引服务器26的查询请求,以及资源处理服务器23的资源处理和更新请求。
步骤45:存储所有所述文件。
下载源服务器25用于提供给客户端待下载的文件。通过下载源服务器25将文件入口服务器21所发布的所有文件,例如资源文件、系统文件或补丁文件进行存储,并作为客户端的原始下载源,并使用CDN(Content Delivery Network,内容发布网络)方式提供下载。
步骤50:获取客户端所发送的下载指令。
接收到由客户端所发送的下载指令,所述下载指令包括待下载的文件的下载链接。所述下载链接可以从Internet互联网获得。
步骤60:根据下载指令中对应文件所映射的集合标识匹配相应的文件集合。
在接收到下载指令后,根据下载指令中对应文件所映射的集合标识匹配相应的文件集合。通过下载链接作为索引入口进行匹配查询。此步骤可以在资源索引服务器26内完成。所述资源索引服务器26为专门用于提供查询资源的服务器。
步骤S70:在匹配到一个文件集合后,根据文件序号定位待下载的文件。
在匹配到一个文件集合后,进一步通过文件集合唯一的编号和文件序号可以定位一个文件。
步骤S80:将所述定位到的待下载的文件发送至下载终端。
在定位到所述待下载的文件后,根据文件的优先级标识优先下载文件集合内所需待下载的文件,并以分片形式发送至下载终端。在下载的过程中,可以通过使用聚合后的大文件的分片的哈希值信息对已下载的分片进行校验,以确保下载文件的正确性。若文件集合中一文件的内容发生错误,则重新聚合文件集合,并生成唯一的集合标记和所述文件集合的分片的校验信息,以供重新发布。
步骤85:将已完成下载的文件进行注册。
将已完成下载的文件在Tracker服务器27上进行注册(Tracker服务器27,即为跟踪服务器,用于缓存关于文件所有持有者和下载者的IP地址、路由信息及完成度等),向客户端反馈其所拥有该节点的IP地址列表,使得其他客户端可以通过P2SP技术进行全局的Peer(端点)下载服务,进而增加网络中P2SP 资源的供给,有效提升整个系统的P2SP 利用率。同时,Tracker服务器27接收客户端的在线情况汇报,并将所述节点所接收到下载指令进行反馈。
由此可见,将多个文件聚合为大文件进行下载,不需要每一个独立的文件均向服务器查询多资源集合或向Tracker服务器27注册,只需使用文件集合的唯一的集合标识进行Tracker服务器27注册即可。也就是说,用户可以快速优先下载所需文件,且不必将每一待下载的文件均向服务器检索一次多资源集合,进而大幅降低查询的次数。通过本发明也提升了第一个数据分片达到的时间,加快下载速度。此外,通过将已下载的文件主动上传,增加网络中P2SP多资源集合的供给,提升了P2SP使用率。这些都是现有P2SP多资源下载技术所不具备的。
步骤90:获取已完成下载的文件的统计信息。
通过统计服务器28获取已下载的文件的统计信息,例如下载速度、文件大小、下载时间、P2P下载数据、源下载数据等,并将统计信息以流水日志形式加以保存,以供后续统计和分析,例如文件聚合服务器选择哪些文件作为指导。
接下来结合附图3给出本发明所述一种文件加速下载装置的具体实施方式,包括:下载指令获取模块M320,用于接收下载指令,其中所述下载指令对应待下载的至少一文件;文件集合匹配模块M330,用于根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有文件序号;文件定位模块M340,用于在匹配到一个文件集合后,根据文件序号定位待下载的文件;文件传送模块M350,用于将所述定位到的待下载的文件发送至下载终端。其中所述文件传送模块M350将所述定位到的待下载的文件发送至下载终端,进一步通过文件的优先级标识优先下载文件集合内所需待下载的文件并以分片形式发送至下载终端。
所述文件加速下载装置进一步包括:文件聚合模块M310,用于将多个文件进行聚合以形成至少一文件集合,其中在下载过程中的交互查询和文件校验过程中,以聚合后的文件集合为单位进行。所述文件主要是指定期发布的网络游戏或升级补丁包,或是系统补丁(例如操作系统或应用软件的补丁)。在本发明具体实施方式中,所述文件为小文件,其大小一般小于阈值,(比如500KB)。按文件大小或文件的频度信息,将所有所述文件进行逻辑和索引上(即分组标识方式)聚合,得到1个或多个不同的文件集合。通过文件集合的编号对文件集合加以排列,例如文件集合SET1、SET2、 SET3…SETn。每一文件集合包括多个文件,包括f1 、f2、 f3、 f4…fn。每一文件具有一文件序号。若有1000个文件,比如可以分成20个文件集合,则每一文件集合包括50个文件。每一文件集合中所有文件聚合后生成一大文件,例如F1、F2、F3、F4、F5…Fn,每一大文件与每一文件集合相对应,比如,F1与SET1对应,F2与SET2对应,F3与SET3对应…Fn与SETn对应。然后按固定大小对大文件进行分片。分片是对聚合后的文件集合(或称大文件)进行逻辑上的切割,其目的是为了降低下载出错后的成本。也就是说,对每一文件集合进行片段化,并根据每一分片内容计算其特征标识(比如,哈希值信息),作为每一分片的校验信息。若当下载完每一分片后,通过计算下载数据的特征标识(比如,哈希值信息),与校验信息进行比较,以判断下载的分片是否正确,若发现错误可及时重新下载。所述分片是指对聚合后的大文件进行逻辑上的切割。通常对大文件进行分片的方式如下,比如一大文件大小为T,分片大小P(T),将大文件划分为N =(T + P(T)- 1)/  P(T)片,分片大小通常和大文件大小有关,比如可以是2M、1M、512KB、256KB、128KB等,通常最小的分片大小为32KB。大文件越大,分片也越大,这与具体实现有关系。不同的大文件的分片大小可以不固定,但需对分片大小进行控制,且控制在一上限值内,以避免分片太多,生成太多校验信息。所有分片的校验信息组成的文件头通常会有一个字段,以表明分片大小。若大文件非常大,比如超过10G,则总的分片数目需固定。每一文件集合具有一唯一的集合标识(或称特征码)。获取所述特征码的方式如下:将大文件进行分片,根据每一分片的内容计算并生成其特征标识(比如,哈希值信息),并将所有哈希值再次进行哈希运算,得到的结果即作为文件集合的唯一集合标识。
以文件大小或文件的频度信息将多个文件进行聚合成所述文件集合。在本发明具体实施方式中,对所述文件聚合在逻辑上可采用两种方式。一种方式是按文件大小,比如,尽量使第一文件集合包括的所有文件的文件大小总和与第二文件集合包括的所有文件的文件大小总和保持相同。另一种方式是按文件的频度信息,比如,尽量使第一文件集合包括的所有文件的频度信息总和与第二文件集合包括的所有文件的频度总和保持相同。其中,频度信息是指文件的冷热门程度,通过频度信息大小以表示文件冷热门的级别。通过上述两种在逻辑上的聚合方式,可以保证P2P的利用率和下载成功率,并减少网络协议开销。
优选的,所述文件加速下载装置进一步包括:文件验证模块M360,用于在文件校验时,通过聚合后的文件集合的分片的特征标识进行验证,以确保所下载文件的正确性。
优选的,所述文件加速下载装置进一步包括:文件纠错模块M370,用于若文件集合中一文件的内容发生错误,则重新聚合成文件集合,并生成集合标识和所述文件集合的分片的校验信息,以供再次发布。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种文件加速下载方法,其特征在于,包括:
接收下载指令,其中所述下载指令对应待下载的至少一文件;
根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有一文件序号;
在匹配到一个文件集合后,根据文件序号定位待下载的文件;以及
将所述定位到的待下载的文件发送至下载终端。
2.如权利要求1所述的文件加速下载方法,其特征在于,所述方法进一步包括:
将多个文件进行聚合以形成至少一文件集合,其中在下载过程中的交互查询和文件校验过程中,以聚合后的文件集合为单位进行。
3.如权利要求2所述的文件加速下载方法,其特征在于,将多个文件进行聚合以形成至少一文件集合进一步包括:
以文件大小或文件的频度信息将多个文件进行聚合成所述文件集合。
4.如权利要求1所述的文件加速下载方法,其特征在于,所述方法进一步包括:
在文件校验时,通过聚合后的文件集合的分片的特征标识进行验证。
5.如权利要求1所述的文件加速下载方法,其特征在于,所述方法进一步包括:
若文件集合中一文件的内容发生错误,则重新聚合成文件集合,并生成集合标识和所述文件集合的分片的校验信息,以供再次发布。
6.如权利要求4或5所述的文件加速下载方法,其特征在于,聚合后的文件集合根据集合内所有文件的大小总和进行分片。
7.如权利要求1所述的文件加速下载方法,其特征在于,将所述定位到的待下载的文件发送至下载终端,进一步通过文件的优先级标识优先下载文件集合内所需待下载的文件并以分片形式发送至下载终端。
8.一种文件加速下载装置,其特征在于,包括:
下载指令获取模块,用于接收下载指令,其中所述下载指令对应待下载的至少一文件;
文件集合匹配模块,用于根据下载指令中对应文件所映射的集合标识匹配相应的文件集合,其中所述文件集合由多个文件聚合而成,每一文件集合具有一集合标识,每一文件具有一文件序号;
文件定位模块,用于在匹配到一个文件集合后,根据文件序号定位待下载的文件;以及
文件传送模块,用于将所述定位到的待下载的文件发送至下载终端。
9.如权利要求8所述的文件加速下载装置,其特征在于,所述装置进一步包括:
文件聚合模块,用于将多个文件进行聚合以形成至少一文件集合,其中在下载过程中的交互查询和文件校验过程中,以聚合后的文件集合为单位进行。
10.如权利要求9所述的文件加速下载装置,其特征在于,所述文件聚合模块将多个文件进行聚合以形成至少一文件集合,进一步包括以文件大小或文件的频度信息将多个文件进行聚合成所述文件集合。
11.如权利要求8所述的文件加速下载装置,其特征在于,所述装置进一步包括:
文件验证模块,用于在文件校验时,通过聚合后的文件集合的分片的特征标识进行验证。
12.如权利要求8所述的文件加速下载装置,其特征在于,所述装置进一步包括:
文件纠错模块,用于若文件集合中一文件的内容发生错误,则重新聚合成文件集合,并生成集合标识和所述文件集合的分片的校验信息,以供再次发布。
13.如权利要求11或12所述的文件加速下载装置,其特征在于,聚合后的文件集合根据集合内所有文件的大小总和进行分片。
14.如权利要求8所述的文件加速下载装置,其特征在于,所述文件传送模块将所述定位到的待下载的文件发送至下载终端,进一步通过文件的优先级标识优先下载文件集合内所需待下载的文件并以分片形式发送至下载终端。
CN201210478409.5A 2012-11-22 2012-11-22 文件加速下载方法及装置 Active CN103841135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210478409.5A CN103841135B (zh) 2012-11-22 2012-11-22 文件加速下载方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210478409.5A CN103841135B (zh) 2012-11-22 2012-11-22 文件加速下载方法及装置

Publications (2)

Publication Number Publication Date
CN103841135A true CN103841135A (zh) 2014-06-04
CN103841135B CN103841135B (zh) 2018-06-22

Family

ID=50804265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210478409.5A Active CN103841135B (zh) 2012-11-22 2012-11-22 文件加速下载方法及装置

Country Status (1)

Country Link
CN (1) CN103841135B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193492A (zh) * 2017-05-18 2017-09-22 郑州云海信息技术有限公司 一种小文件更新的方法及装置
CN107613016A (zh) * 2017-10-11 2018-01-19 网宿科技股份有限公司 文件批量下载方法、客户端、分发服务器及系统
CN107729505A (zh) * 2017-10-23 2018-02-23 郑州云海信息技术有限公司 一种缓存中的小文件的获取方法、装置及可读存储介质
CN109981751A (zh) * 2019-03-06 2019-07-05 珠海金山网络游戏科技有限公司 一种文件传输方法及系统、计算机设备及存储介质
CN110224841A (zh) * 2019-06-26 2019-09-10 北京小米移动软件有限公司 应用包的下载方法、装置、设备及可读存储介质
CN110572422A (zh) * 2018-06-06 2019-12-13 北京京东尚科信息技术有限公司 数据下载方法和装置
CN110866127A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 建立索引的方法以及相关装置
CN113778673A (zh) * 2021-08-27 2021-12-10 深圳市广和通无线股份有限公司 数据处理方法、存储介质及设备
CN114338646A (zh) * 2021-11-29 2022-04-12 王建冬 文件交互传输方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242264A1 (en) * 2001-03-16 2006-10-26 Emc Corporation Network file sharing method and system
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及系统
CN101976322A (zh) * 2010-11-11 2011-02-16 清华大学 基于一种完整性校验的安全元数据管理方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法
CN102546731A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 点对点流媒体系统的子块完整性校验方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242264A1 (en) * 2001-03-16 2006-10-26 Emc Corporation Network file sharing method and system
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及系统
CN101976322A (zh) * 2010-11-11 2011-02-16 清华大学 基于一种完整性校验的安全元数据管理方法
CN102546731A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 点对点流媒体系统的子块完整性校验方法和系统
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193492A (zh) * 2017-05-18 2017-09-22 郑州云海信息技术有限公司 一种小文件更新的方法及装置
CN107613016A (zh) * 2017-10-11 2018-01-19 网宿科技股份有限公司 文件批量下载方法、客户端、分发服务器及系统
CN107613016B (zh) * 2017-10-11 2020-05-22 网宿科技股份有限公司 文件批量下载方法、客户端、分发服务器及系统
CN107729505A (zh) * 2017-10-23 2018-02-23 郑州云海信息技术有限公司 一种缓存中的小文件的获取方法、装置及可读存储介质
CN110572422A (zh) * 2018-06-06 2019-12-13 北京京东尚科信息技术有限公司 数据下载方法和装置
CN110866127A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 建立索引的方法以及相关装置
CN109981751A (zh) * 2019-03-06 2019-07-05 珠海金山网络游戏科技有限公司 一种文件传输方法及系统、计算机设备及存储介质
CN109981751B (zh) * 2019-03-06 2022-06-17 珠海金山网络游戏科技有限公司 一种文件传输方法及系统、计算机设备及存储介质
CN110224841A (zh) * 2019-06-26 2019-09-10 北京小米移动软件有限公司 应用包的下载方法、装置、设备及可读存储介质
CN113778673A (zh) * 2021-08-27 2021-12-10 深圳市广和通无线股份有限公司 数据处理方法、存储介质及设备
CN113778673B (zh) * 2021-08-27 2024-02-09 深圳市广和通无线股份有限公司 数据处理方法、存储介质及设备
CN114338646A (zh) * 2021-11-29 2022-04-12 王建冬 文件交互传输方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103841135B (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN103841135A (zh) 文件加速下载方法及装置
CN102307210B (zh) 一种数据下载系统及其数据管理和下载方法
CN109491758A (zh) docker镜像分发方法、系统、数据网关及计算机可读存储介质
CN111260396B (zh) 一种广告预加载方法、装置、电子设备及存储介质
WO2008080332A1 (fr) Procédé et système de publication de publicité sur internet
CN102546836A (zh) 一种上传文件的方法、终端、服务器及系统
CN100385854C (zh) 一种发送广播消息的系统及方法
CN103973475A (zh) 差异补丁包生成方法及下载方法、服务器、客户端
CN103812882A (zh) 一种文件传输的方法及系统
US10055760B2 (en) System and method for synchronizing delivery of promotional material to computing devices
CN102630378A (zh) 基于描述文件的个体化数据通信
CN103248666A (zh) 一种离线下载资源的系统、方法及装置
CN109982152B (zh) P2p cdn业务处理方法、智能网关以及cdn平台
CN103931160A (zh) 点对点内容分发系统中宣称对等体的内容拥有验证
CN101729593A (zh) 一种上传和接收文件的方法、系统及装置
CN102932391A (zh) P2sp系统中处理数据的方法、装置和系统
US20170187837A1 (en) Ad download method, the client and the server
US8843915B2 (en) Signature-based update management
CN102761572A (zh) 动态调整数据流量的方法及系统
CN103826139A (zh) Cdn系统、观看服务器以及流媒体数据传输方法
CN102523299A (zh) 基于消息摘要进行内容标识的缓存方法
CN102857470A (zh) 一种网络传输系统、服务器和客户端
WO2017067374A1 (zh) 一种消息推送方法及推送服务器
CN109525622B (zh) 分片资源id的生成方法、资源分享方法,装置及电子设备
CN102710535A (zh) 一种数据获取方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190808

Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 Building No. 403 East

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.