CN103634361B - 下载文件的方法和装置 - Google Patents

下载文件的方法和装置 Download PDF

Info

Publication number
CN103634361B
CN103634361B CN201210309977.2A CN201210309977A CN103634361B CN 103634361 B CN103634361 B CN 103634361B CN 201210309977 A CN201210309977 A CN 201210309977A CN 103634361 B CN103634361 B CN 103634361B
Authority
CN
China
Prior art keywords
download
file
information
fragment
back end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210309977.2A
Other languages
English (en)
Other versions
CN103634361A (zh
Inventor
伍海君
李锐
邹永强
董乘宇
阙太富
王磊
杨绍鹏
张书鑫
赵大勇
刘畅
陈晓东
张银锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210309977.2A priority Critical patent/CN103634361B/zh
Priority to PCT/CN2013/082303 priority patent/WO2014032559A1/zh
Publication of CN103634361A publication Critical patent/CN103634361A/zh
Priority to US14/624,647 priority patent/US10484468B2/en
Application granted granted Critical
Publication of CN103634361B publication Critical patent/CN103634361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明公开了一种下载文件的方法和装置，属于互联网领域。所述方法包括：当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；根据所述下载得到的至少两个分片得到所述文件。本发明通过将下载请求切分成多个分片请求，实现对多个分片请求的并行下载，从而大大提高文件的下载效率。

Description

下载文件的方法和装置
技术领域
本发明涉及互联网领域，特别涉及一种下载文件的方法和装置。
背景技术
随着互联网的发展，出现了HDFS（Hadoop Distributed File System，开源的分布式文件系统）。HDFS将需要存储的文件切成64M大小的块。一方面，为了增强数据的安全性，降低数据丢失的风险，文件的每个块可能会保存多个副本，每个副本对应的数据都完全相同，每个副本保存在不同的DataNode（数据节点）上面；另一方面，HDFS将文件的属性信息存储到NameNode上，其中属性信息包括：文件大小，文件被分成的块数，每块所有副本位置等。
基于上述HDFS的存储方式，HDFS客户端在读取文件内容的时候，首先从NameNode获取文件的块列表，以及每个块的所有副本位置信息，针对某个块，客户端计算和该块所有副本的距离，然后按照距离进行排序。首先选择距离最近的副本进行下载，如果下载失败则按照排列的顺序选择下一个副本进行下载。从而得到文件的所有块。
在实现本发明的过程中，发明人发现HDFS这种文件顺序下载方式的问题是：由于物理距离作用不大，网络距离又因为网络状况的不断变化而变化，所以无法准确计算客户端和副本之间的距离，且如果某个DataNode被许多客户端优先选择，但是DataNode一次只能响应一个客户端的下载，其他客户端只能等待下载，这就降低了下载效率。
发明内容
为了提高文件的下载效率，本发明实施例提供了一种下载文件的方法和装置。所述技术方案如下：
一方面，提供了一种下载文件的方法，所述方法包括：
当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；
将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；
根据所述下载得到的至少两个分片获得所述文件。
所述将所述下载请求切分成至少两个分片的下载请求，包括：
根据所述文件的属性信息获得所述文件的检验值；
根据所述校验值将所述下载请求分成至少两个分片的下载请求，其中，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等。
所述将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片，包括：
将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片；
接收所述每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片。
所述方法还包括：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
所述接收所述每个数据节点返回的信息之后，还包括：
如果所述信息为下载分片，则记录所述当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录所述当前数据节点下载失败的信息。
另一方面，提供了一种下载文件的装置，所述装置包括：
属性获取模块，用于当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
切分模块，用于当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；
下载模块，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；
文件获取模块，用于根据所述下载得到的至少两个分片获得所述文件。
所述切分模块，包括：
获取单元，用于根据所述文件的属性信息获得所述文件的检验值；
切分单元，用于根据所述校验值将所述下载请求切分成至少两个分片的下载请求，其中，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等。
所述下载模块，包括：
发送单元，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片；
接收单元，用于接收所述每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片。
所述接收单元还用于：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
所述下载模块还包括：
记录单元，用于在所述接收单元接收所述每个数据节点返回的信息之后，如果所述信息为下载分片，则记录所述当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录所述当前数据节点下载失败的信息。
本发明实施例提供的技术方案带来的有益效果是：当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；根据所述下载得到的至少两个分片得到所述文件。通过将下载请求切分成多个分片请求，实现对多个分片请求的并行下载，从而大大提高文件的下载效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种下载文件的方法流程图；
图2是本发明实施例二提供的一种下载文件的方法流程图；
图3是本发明实施例三提供的一种下载文件的装置结构示意图；
图4是本发明实施例三提供的另一种下载文件的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1，本实施例中提供了一种下载文件的方法，所述方法包括：
101、当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
102、当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；
103、将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；
104、根据所述下载得到的至少两个分片获得所述文件。
优选地，所述将所述下载请求切分成至少两个分片的下载请求，包括：
根据所述文件的属性信息获得所述文件的检验值；
根据所述校验值将所述下载请求切分成至少两个分片的下载请求，其中，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等。
优选地，所述将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片，包括：
将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片；
接收所述每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片。
进一步地，所述方法还包括：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
可选地，所述接收所述每个数据节点返回的信息之后，还包括：
如果所述信息为下载分片，则记录所述当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录所述当前数据节点下载失败的信息。
本实施例的有益效果包括：当接收到文件的下载请求时，获取所述文件的属性信息；根据所述文件的属性信息将所述下载请求分成至少两个分片的下载请求；将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；根据所述下载得到的至少两个分片得到所述文件。通过将下载请求切分成多个分片请求，实现对多个分片请求的并行下载，从而大大提高文件的下载效率。
实施例二
本发明实施例提供了一种下载文件的方法，参见图2，方法流程包括：
201、当接收到文件的下载请求时，获取所述文件的属性信息。
本实施例中，HDFS客户端在下载文件时，首先从服务器端获取文件的属性信息，其中属性信息包括但不限于：文件长度，文件被分成的块数，每块所有副本位置和文件的校验值信息等，此处有现有技术类似，本实施例不再赘述。
202、根据文件的属性信息获知所述文件的长度信息，当所述文件的长度超过预设值时，将下载请求切分成至少两个分片的下载请求。
本实施例中，当文件的长度超过预设值时，将文件的下载请求进行切分，得到多个分片的下载请求，从而将对每个文件块的下载转换成对更小的分片的下载。其中预设值是指服务器端需要校验文件的长度的最小粒度。具体的，将所述下载请求切分成至少两个分片的下载请求，包括：根据所述文件的属性信息获得所述文件的检验值；根据所述校验值将所述下载请求切分成至少两个分片的下载请求，其中，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等。其中，由于文件长度的原因，最后一个分片的长度可能小于预设值，除最后一个分片外，其它分片的长度均等于预设值。本实施例中，如果文件的长度小于预设值则不需要对该下载请求进行切分，直接下载即可。
本实施例中，分片的切分方法和数据在服务器端的保存方式有关。例如，在服务器端，每128k的数据会计算一个hash值，用来校验数据的正确性，此时预设值为128k。客户端也根据服务器端校验数据的方式来切片，尽量把分片请求对齐到128k的倍数位置，这样可以降低服务器校验数据的开销。如果请求下载的文件长度小于128k，则不需要对该分片进行切分，直接下载即可。如果请求下载的文件大于128k，则对该下载请求进行切分，得到的分片个数大于2，每个分片的长度等于128k，第一个分片的结束位置是128k的整数倍，这样可以保证后续分片的起始位置都是128k的整数倍。例如，一个文件块有A，B和C三个副本，分别存放在不同的A，B，C三个数据节点上，当接收到对该文件块的下载请求R的时候，首先把请求R切分成n个分片s1，s2，s3，.....sn，获得更小的下载单元。
203、将至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片。
本实施例中，将切分得到的多个分片请求分别发送到多个数据节点中，其中每个数据节点只接收一部分分片下载请求。数据节点接收到分片下载请求后将相应的分片返回给客户端。
本实施例中，可以将分片下载请求一次性的发送到多个保存其对应副本的数据节点上，也可以先发送一部分的分片请求到相应的数据节点上，等到下载成功后再发送其它的分片请求，实际操作中使用哪种方法本实施例不做具体限定。
204、接收所述每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载。
本实施例中，优选地，根据每个块包含的副本的位置信息，先发送一部分分片请求到相应的数据节点中，当接收到数据节点返回的相应的分片时，在将其它未处理的分片下载请求发送到该数据节点中继续下载。例如，把s1发送到A，s2发送到B，s3发送到C，当s1下载成功后，再将s4发送到A，当s2下载成功后，再将s5发送到B……，重复此下载过程，直到将所有的分片下载完成。
由于机群中所有的数据节点的负载可能不均衡，就会导致数据节点处理请求的快慢不同。本步骤中，没有把所有的分片请求同时发到相应的数据节点，而是先把一部分分片请求发送出去，当收到数据节点的一个分片请求的响应的时候，再发送下一个分片到该数据节点上面。这样比较空闲的数据节点就会多处理下载请求，而比较繁忙的数据节点就会少处理下载请求，从而使机群整体的流量更加均衡。由于机群整体流量比较均衡，不会使下载请求集中到某个数据节点上，也就可以提高机群的吞吐能力。
本实施例中，如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。具体的，如果某个分片下载失败，数据节点返回下载失败信息，则当客户端接收到的信息为下载失败信息时，查找每个块的副本位置，找到其它保存有该分片对应的文件块的数据节点，将该分片的下载请求该数据节点上继续下载。
本实施例中，可选地，接收所述每个数据节点返回的信息之后，还包括：如果所述信息为下载分片，则记录所述当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录所述当前数据节点下载失败的信息。当接收到下载失败的信息后，可以根据记录的数据节点下载成功或是下载失败的信息，将下载失败的文件分片发送到记录的下载成功且保存有该分片对应的副本的数据节点上。例如，s1在A上下载成功，s2在B上下载失败，s3在C上下载成功，则记录A和C下载成功的信息，将s2发送到其它数据节点上进行下载，并记录C下载失败的信息点，当其它分片下载失败后，尽量不选择将分片下载请求发送到B上，而将分片下载请求发送到记录下载成功的数据节点上，从而进一步提高下载的效率。
其中，步骤203-205为实现将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片的具体过程。
205、根据所述下载得到的至少两个分片获得所述文件。
本实施例中，当所有分片都下载完成的时候，依次把这n个分片数据拼接在一起组合成请求R需要的文件。具体的拼接组合过程与现有技术类似，对此本实施例不再赘述。
本实施例的有益效果包括：当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；根据所述下载得到的至少两个分片得到所述文件。通过将下载请求切分成多个分片请求，实现对多个分片请求的并行下载，从而大大提高文件的下载效率。同时空闲的数据节点会多处理下载请求，繁忙的数据节点会少处理下载请求，从而自动均衡网络下载流量，而不至于让某些数据节点成为系统的热点，使整个机群的负载比较均衡，提高机群的吞吐能力。
实施例三
参见图3，本发明实施例提供了一种下载文件的装置，该装置包括：属性获取模块301，切分模块302，下载模块303和文件获取模块304。
属性获取模块301，用于当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
切分模块302，用于当所述文件的长度超过预设值时，将将所述下载请求切分成至少两个分片的下载请求；
下载模块303，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；
文件获取模块304，用于根据所述下载得到的至少两个分片获得所述文件。
优选地，参见图4，所述切分模块302，包括：
获取单元302a，用于根据所述文件的属性信息获得所述文件的检验值；
切分单元302b，用于根据所述校验值将所述下载请求切分成至少两个分片的下载请求，其中，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等。
优选地，参见图4，所述下载模块303，包括：
发送单元303a，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片；
接收单元303b，用于接收所述每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片。
其中，所述接收单元303b还用于：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
可选地，参见图4，所述下载模块303还包括：
记录单元303c，用于在所述接收单元303b接收所述每个数据节点返回的信息之后，如果所述信息为下载分片，则记录所述当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录所述当前数据节点下载失败的信息。
本实施例的有益效果包括：当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求；将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；根据所述下载得到的至少两个分片得到所述文件。通过将下载请求切分成多个分片请求，实现对多个分片请求的并行下载，从而大大提高文件的下载效率。
需要说明的是：上述实施例提供的下载文件的装置中，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的下载文件的装置与下载文件的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种下载文件的方法，其特征在于，所述方法包括：
当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求，其中，所述预设值是指服务器端需要校验文件的长度的最小粒度，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等；
将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，接收每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片；
根据所述下载得到的至少两个分片获得所述文件。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
3.根据权利要求1或2所述的方法，其特征在于，所述接收每个数据节点返回的信息之后，还包括：
如果所述信息为下载分片，则记录当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录当前数据节点下载失败的信息。
4.一种下载文件的装置，其特征在于，所述装置包括：
属性获取模块，用于当接收到文件的下载请求时，获取所述文件的属性信息，并根据所述文件的属性信息获知所述文件的长度信息；
切分模块，用于当所述文件的长度超过预设值时，将所述下载请求切分成至少两个分片的下载请求，其中，所述预设值是指服务器端需要校验文件的长度的最小粒度，所述切分得到的所有分片中至少有一个分片的长度与所述预设值相等；
下载模块，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片，获得所述至少两个分片；
文件获取模块，用于根据所述下载得到的至少两个分片获得所述文件；
所述下载模块，包括：
发送单元，用于将所述至少两个分片的下载请求发送到至少两个数据节点中请求下载对应的分片；
接收单元，用于接收每个数据节点返回的信息，如果所述信息为下载分片，则存储所述下载分片，并将其它未处理的分片下载请求发送到该数据节点上请求下载，获得所述至少两个分片。
5.根据权利要求4所述的装置，其特征在于，所述接收单元还用于：
如果所述信息为下载失败信息，则将所述下载失败的分片下载请求发送到除发送所述下载失败信息的数据节点以外的其它数据节点上进行下载，获得所述其它数据节点下载后的分片。
6.根据权利要求4或5所述的装置，其特征在于，所述下载模块还包括：
记录单元，用于在所述接收单元接收每个数据节点返回的信息之后，如果所述信息为下载分片，则记录当前数据节点下载成功的信息，如果所述信息为下载失败信息，则记录当前数据节点下载失败的信息。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现如权利要求1至3任一项所述的下载文件的方法。
CN201210309977.2A 2012-08-28 2012-08-28 下载文件的方法和装置 Active CN103634361B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210309977.2A CN103634361B (zh) 2012-08-28 2012-08-28 下载文件的方法和装置
PCT/CN2013/082303 WO2014032559A1 (zh) 2012-08-28 2013-08-26 下载文件的方法和装置
US14/624,647 US10484468B2 (en) 2012-08-28 2015-02-18 Method and device for downloading file

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210309977.2A CN103634361B (zh) 2012-08-28 2012-08-28 下载文件的方法和装置

Publications (2)

Publication Number Publication Date
CN103634361A CN103634361A (zh) 2014-03-12
CN103634361B true CN103634361B (zh) 2018-07-20

Family

ID=50182501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210309977.2A Active CN103634361B (zh) 2012-08-28 2012-08-28 下载文件的方法和装置

Country Status (3)

Country Link
US (1) US10484468B2 (zh)
CN (1) CN103634361B (zh)
WO (1) WO2014032559A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161570A (zh) * 2015-04-24 2016-11-23 阿里巴巴集团控股有限公司 基于网页脚本的文件下载方法、装置、服务器组及系统
CN106993054B (zh) * 2017-05-05 2022-06-03 腾讯科技（深圳）有限公司 文件分发方法、节点及系统
CN110018783B (zh) * 2018-01-09 2022-12-20 阿里巴巴集团控股有限公司 一种数据存储方法、装置及系统
CN108566370B (zh) * 2018-02-11 2022-07-12 北京奇艺世纪科技有限公司 一种数据回源的方法以及装置
CN111459703B (zh) * 2019-01-03 2024-03-19 深圳市茁壮网络股份有限公司 一种编码检测方法及系统
CN111835801B (zh) * 2019-04-18 2023-11-14 北京度友信息技术有限公司 文件下载方法、装置、服务器、边缘设备、终端及介质
CN110247986A (zh) * 2019-06-28 2019-09-17 北京奇艺世纪科技有限公司 一种文件传输方法、装置及电子设备
CN110784520A (zh) * 2019-09-30 2020-02-11 北京字节跳动网络技术有限公司 文件下载方法、装置及电子设备
CN112784553A (zh) * 2020-12-31 2021-05-11 语联网（武汉）信息技术有限公司 将数据导出为Excel文档的方法及装置
CN113132463B (zh) * 2021-03-17 2023-03-24 杭州当虹科技股份有限公司 一种分布式的大文件快速下载方法及系统
CN113194117A (zh) * 2021-03-22 2021-07-30 海南视联通信技术有限公司 一种基于视联网的数据处理的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及系统
CN101150506A (zh) * 2007-08-24 2008-03-26 华为技术有限公司 内容获取方法、装置和内容传输系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192412B1 (en) * 1998-07-28 2001-02-20 Lucent Technologies, Inc. Computer file transmission system and method
US20040095400A1 (en) * 2002-11-19 2004-05-20 Anderson Andrew T. Reconfiguration of content for display on devices of different types
US7721104B2 (en) * 2003-10-20 2010-05-18 Nokia Corporation System, method and computer program product for downloading pushed content
US20070043874A1 (en) * 2005-08-17 2007-02-22 Virendra Nath File transfer method and system
WO2008011388A2 (en) * 2006-07-15 2008-01-24 Solid State Networks, Inc. Methods and apparatus for transferring data
US20080270524A1 (en) * 2007-04-30 2008-10-30 Nikhil Gupta Distributing files over a computer network
US8294566B2 (en) * 2008-05-02 2012-10-23 Escherlogic Inc. Emergency warning system and method of installation
US8307087B1 (en) * 2009-02-11 2012-11-06 Hydrabyte, Inc. Method and system for sharing data storage over a computer network
US20110125853A1 (en) * 2009-11-25 2011-05-26 Weber Anthony A System and Method of Handling Electronic Mail Having Attachments
CN102209087B (zh) * 2010-03-31 2014-07-09 国际商业机器公司 在具有存储网络的数据中心进行MapReduce数据传输的方法和系统
CN102075561B (zh) * 2010-11-29 2013-06-05 华为数字技术（成都）有限公司 一种网络资源下载方法，装置及系统
WO2013009503A2 (en) * 2011-07-08 2013-01-17 Yale University Query execution systems and methods
US9712612B2 (en) * 2012-08-07 2017-07-18 International Business Machines Corporation Method for improving mobile network performance via ad-hoc peer-to-peer request partitioning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及系统
CN101150506A (zh) * 2007-08-24 2008-03-26 华为技术有限公司 内容获取方法、装置和内容传输系统

Also Published As

Publication number Publication date
CN103634361A (zh) 2014-03-12
US10484468B2 (en) 2019-11-19
WO2014032559A1 (zh) 2014-03-06
US20150163280A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
CN103634361B (zh) 下载文件的方法和装置
CN103248645B (zh) Bt离线数据下载系统及方法
US9165001B1 (en) Multi stream deduplicated backup of collaboration server data
US20150237113A1 (en) Method and system for file transmission
TW201423426A (zh) 資料分塊上傳與儲存系統及方法
CN102833294A (zh) 基于云存储的文件处理方法、系统及服务器集群系统
US20170134495A1 (en) Method and apparatus for sharing collaboratively edited document
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN103227836B (zh) 离线下载方法和离线下载服务器
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN113821478A (zh) 一种基于区块链的大文件存储方法及系统
CN109766206A (zh) 一种日志采集方法及系统
CN105320577B (zh) 一种数据备份和恢复方法、系统及装置
CN114185484A (zh) 一种文档存储集群化的方法、装置、设备和介质
CN106294627A (zh) 数据管理方法及数据服务器
CN111447265A (zh) 文件存储方法、文件下载方法和文件处理方法及相关组件
CN108197323A (zh) 应用于分布式系统地图数据处理方法
CN106649847A (zh) 一种基于Hadoop的大数据实时处理系统
CN101415029B (zh) 文件分发方法及装置
JP5655764B2 (ja) サンプリング装置、サンプリングプログラム、およびその方法
JP2012190377A (ja) コンテンツ分散保管システム
CN113542422B (zh) 数据存储方法、装置、存储介质及电子装置
US10348828B2 (en) Method and apparatus for optimizing data transfers utilizing machine learning
EP2391946B1 (en) Method and apparatus for processing distributed data
CN108959300A (zh) 文件存储方法和存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant