CN101753404A - 网络资源的下载方法 - Google Patents

网络资源的下载方法 Download PDF

Info

Publication number
CN101753404A
CN101753404A CN200810218159A CN200810218159A CN101753404A CN 101753404 A CN101753404 A CN 101753404A CN 200810218159 A CN200810218159 A CN 200810218159A CN 200810218159 A CN200810218159 A CN 200810218159A CN 101753404 A CN101753404 A CN 101753404A
Authority
CN
China
Prior art keywords
task
built
equipment
distribution coordinator
downloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810218159A
Other languages
English (en)
Inventor
孙翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN200810218159A priority Critical patent/CN101753404A/zh
Publication of CN101753404A publication Critical patent/CN101753404A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明适用于互联网技术领域，提供了一种网络资源的下载方法，所述的方法包括：所述的方法包括：a、任务分配协调器可控制的线上设备中的至少一个向任务分配协调器发送下载请求；b、所述的任务分配协调器查找其所控制的当前可执行下载任务的设备，并将整个下载任务分解后分配给各个可执行下载任务的线上设备；c、各个执行下载任务的线上设备分别执行所分配的下载任务，并将下载的数据汇总至共同的目的地。本发明提供的技术方案大大地提高了下载的速度和效率。

Description

网络资源的下载方法
技术领域
本发明属于互联网技术领域，尤其涉及一种网络资源的下载方法。
背景技术
P2P(peer-to-peer对等联网)技术是近年来兴起的互连网技术，采用P2P架构可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节点上，利用其中闲置的计算能力和存储空间，达到高性能计算和海量存储的目的。
当越来越多的设备具备了直接接入互联网进行P2P下载的能力后，事实上形成了一种分布式下载的局面，现有的p2p技术使得一台设备可以从网络上的多个内容源获取数据，但是获取的数据只能存储在本地，其弊端在于不同的设备其之间下载数据的存储是分散的，这样无法将多个设备的下载能力形成合力。
因此，需要一种技术方案，可以做到协同调度多个P2P下载设备，使得多个设备不仅从互联网上的多个peer获取内容源，还可以将多个设备下载下来的数据汇总到同一个目的地进行存储，这种p2p下载方式将可以充分利用各种不同设备的特性和计算能力，极大地提高整体的下载速度和性能。
发明内容
本发明的目的在于提供一种网络资源下载的方法，旨在提高对网络资源的下载速度的问题。
本发明是这样实现的，一种网络资源的下载方法，所述的方法包括：
a、任务分配协调器可控制的线上设备中的至少一个向任务分配协调器发送下载请求；
b、所述的任务分配协调器查找其所控制的当前可执行下载任务的设备，并将整个下载任务分解后分配给各个可执行下载任务的线上设备；
c、各个执行下载任务的线上设备分别执行所分配的下载任务，并将下载的数据汇总至共同的目的地。
任务分配协调器控制的每个线上设备中，均运行一个任务分配协调器的代理程序，由该代理程序负责与任务分配协调器通信。
其中步骤b所述的将整个下载任务分解具体包括：将需要下载的文件按当前可执行下载任务的线上设备的数量进行分解，每一设备对应一分任务。
其中步骤c具体包括：
c1、各个执行下载任务的线上设备从网络中搜索存在所需要下载的网络资源的peer，当搜索到某peer存在属于自身分任务的网络资源时，转步骤c2，当搜索到某peer存在不属于自身分任务的网络资源时，转步骤c3；
c2、建立与该peer的连接，通过P2P方式下载属于自身任务的网络资源，将下载的数据汇总至所述共同的目的地；
c3、所述设备将该peer的信息返回给任务分配协调器，任务分配协调器再将该peer的信息转发给另一设备，所述另一设备所分配的分任务对应该peer存在的网络资源，所述另一设备通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至所述共同的目的地。
其中步骤c还包括：当其中一个执行下载任务的线上设备下线时，其代理程序将通知任务分配协调器，所述任务分配协调器将属于该下线设备的下载任务重新分配给其他仍在线工作的设备。
所述的共同目的地同样运行一个代理程序，所述代理程序统一接收来自不同线上设备下载的数据，将所述下载数据整理成一个完整的文件。
所述共同目的地由任务分配协调器指定。
所述共同目的地优选发起下载请求的设备。
本发明克服现有技术的不足，由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给网络中两个或者两个以上的有下载需求的设备，每个有下载需求的设备负责所分配任务的下载，各个设备将下载的数据汇总后存储在一个目标文件中。本发明提供的技术方案使得针对某个特定资源的下载任务将不再依赖某个单一的设备，任务被均衡地分配到了若干台不同的设备上，由这些设备同步下载，以最大限度地利用设备的计算资源和网络带宽，相比起目前的只能进行单个设备p2p下载，大大地提高了下载的速度和效率。
附图说明
图1是本发明实施例系统图。
具体实施方式
本发明提供的技术方案是：任务分配协调器可控制多个线上设备，其中至少一个线上设备向任务分配协调器发送下载请求；任务分配协调器查找其所控制的当前可执行下载任务的线上设备；由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给各个可执行下载任务的线上设备；各个执行下载任务的线上设备分别执行所分配的下载任务，将下载的数据汇总至共同的目的地。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的系统图如图1所示，包括多个内容源，如内容源1、内容源2、内容源3、......、内容源n，任务分配协调器和由其控制的多个线上设备，如手机、电脑和机顶盒等等。
其中，内容源为互联网上存储特定内容的节点(peer)。
任务分配协调器控制的多个线上设备如手机、电脑和机顶盒等等，至少一个线上设备有下载需求，或者多个线上设备对相同的网络资源有下载需求，需要下载的网络资源分布在多个内容源中。在任务分配协调器控制的每个线上设备中，均运行一个任务分配协调器的代理程序(agent)，由该代理程序负责与任务分配协调器之间的通信。任务分配协调器、各个线上设备均可接入互联网，，该任务分配协调器进行下载任务的分配，以及确保数据的完整性和一致性。任务分配协调器可以是一个专有的设备，也可以运行在承担下载任务的设备上。
有下载需求的线上设备向任务分配协调器发送下载请求，任务分配协调器查找其所控制的可执行下载任务的线上设备，这些可执行下载任务的线上设备包括发送下载请求的线上设备；由任务分配协调器对下载任务进行分配，将整个下载任务分解后分别分配给各个可执行下载任务的线上设备；
执行下载任务的各线上设备均通过互联网接入进行网络资源的下载，下载的数据再通过任务分配协调器写入同一个目的地文件中。
例如下载的请求可以由手机、电脑和机顶盒中的任意一个线上设备发起，或者不同的用户分别通过手机、电脑对同一网络资源发送下载请求时，运行在手机和电脑上的代理程序主动与任务分配协调器联系，任务分配协调器查找到可执行下载任务的线上设备有手机、电脑和机顶盒，并根据其接受到的下载的总任务情况将总任务分解成三个分任务，然后将三个分任务分别分配给手机、电脑和机顶盒。
任务分解及执行可以有多种策略，例如可以简单地将手机和电脑请求下载的文件分成头、中、尾三个部分，每个部分分别交给一个线上设备下载，执行下载任务的线上设备即手机、电脑和机顶盒分别从网络中搜索存在所需要下载的网络资源的peer，当搜索到某peer存在属于自身分任务的网络资源时，建立与该peer的连接，通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至共同的目的地；各个线上设备在搜索到某peer(节点)上的不属于自己分管的那部分资源时，将该peer的信息返回给任务分配协调器，任务分配协调器再将拥有该资源的peer的信息转发给该部分资源对应的线上设备，下载该部分资源的对应的设备通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至共同的目的地。这样，各个线上设备分别执行自身所分配的那部分资源的下载的分任务。
任务分解及执行也可以采用更复杂的策略：任务分配器协调器接受到其所控制的一个或多个线上设备的下载请求后，直接搜索互联网上对应的peer信息，搜索完成后，根据预定的策略，查找其所控制的可执行下载任务的线上设备，并将下载任务分配给各个可执行下载任务的线上设备执行，如设备A负责下载从0到xxx偏移量的数据内容，设备B负责下载从xxx+1到xxxx偏移量的数据内容，等等。
当某个线上设备下线时，其对应的代理程序将通知任务分配协调器，任务分配协调器再动态地改变任务的分配，将原本属于该下线设备的部分下载任务分配给其他仍然在线工作的设备。
各个执行下载任务的线上设备将下载下来的数据统一汇总至一个共同的目的地，在下载的目的地同样运行一个代理程序，代理程序统一接收来自不同线上设备下载的数据，将这些数据分段装配形成一个完整的文件。共同目的地由任务分配协调器指定，优选发起下载请求的设备，这样可以提高效率，减少不必要的数据转移。假定任务分配协调器可控制的线上设备有手机、电脑和机顶盒，本发明实施例流程具体包括如下的步骤：
1、手机、电脑和机顶盒中的一个设备或针对相同的网络资源有下载需求的两个设备向任务分配协调器发送下载请求；
2、发送下载请求的设备上的代理程序主动与任务分配协调器联系，任务分配协调器查找到可执行下载任务的线上设备有手机、电脑和机顶盒，根据下载的总任务情况将总任务分解成三个分任务；
3、任务分配协调器将三个分任务分别分配给手机、电脑和机顶盒；
4、手机、电脑和机顶盒分别执行自身所分配的下载任务；
5、手机、电脑和机顶盒将下载的数据汇总至一个共同的目的地，在该目的地运行的代理程序统一接收来自不同设备的数据，将这些数据分段装配起来形成一个完整的文件。
如上所述，本发明提供的技术方案使得针对某个特定资源的下载任务将不再依赖某个单一的设备，任务被均衡地分配到了若干台不同的设备上，由这些设备并发地同步下载，以最大限度地利用设备的计算资源和网络带宽，这样即使某台设备的临时离线也不会对整个下载行为造成完全中断的影响，尤其对于那些长时间处于开机模式或者拥有很好的网络接入资源的设备，是一种物尽其用的好办法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种网络资源的下载方法，所述的方法包括：
a、任务分配协调器可控制的线上设备中的至少一个向任务分配协调器发送下载请求；
b、所述的任务分配协调器查找其所控制的当前可执行下载任务的设备，并将整个下载任务分解后分配给各个可执行下载任务的线上设备；
c、各个执行下载任务的线上设备分别执行所分配的下载任务，并将下载的数据汇总至共同的目的地。
2.根据权利要求1所述的方法，其特征在于：任务分配协调器控制的每个线上设备中，均运行一个任务分配协调器的代理程序，由该代理程序负责与任务分配协调器通信。
3.根据权利要求1所述的方法，其特征在于，其中步骤b所述的将整个下载任务分解具体包括：将需要下载的文件按当前可执行下载任务的线上设备的数量进行分解，每一设备对应一分任务。
4.根据权利要求1所述的方法，其特征在于，其中步骤c具体包括：
c1、各个执行下载任务的线上设备从网络中搜索存在所需要下载的网络资源的peer，当搜索到某peer存在属于自身分任务的网络资源时，转步骤c2，当搜索到某peer存在不属于自身分任务的网络资源时，转步骤c3；
c2、建立与该peer的连接，通过P2P方式下载属于自身任务的网络资源，将下载的数据汇总至所述共同的目的地；
c3、所述设备将该peer的信息返回给任务分配协调器，任务分配协调器再将该peer的信息转发给另一设备，所述另一设备所分配的分任务对应该peer存在的网络资源，所述另一设备通过P2P方式下载属于自身分任务的网络资源，将下载的数据汇总至所述共同的目的地。
5.根据权利要求1所述的方法，其特征在于，其中步骤c还包括：当其中一个执行下载任务的线上设备下线时，其代理程序将通知任务分配协调器，所述任务分配协调器将属于该下线设备的下载任务重新分配给其他仍在线工作的设备。
6.根据权利要求1所述的方法，其特征在于，所述的共同目的地同样运行一个代理程序，所述代理程序统一接收来自不同线上设备下载的数据，将所述下载数据整理成一个完整的文件。
7.根据权利要求1或6所述的方法，其特征在于，所述共同目的地由任务分配协调器指定。
8.根据权利要求1或6所述的方法，其特征在于，所述共同目的地优选发起下载请求的设备。
CN200810218159A 2008-12-12 2008-12-12 网络资源的下载方法 Pending CN101753404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810218159A CN101753404A (zh) 2008-12-12 2008-12-12 网络资源的下载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810218159A CN101753404A (zh) 2008-12-12 2008-12-12 网络资源的下载方法

Publications (1)

Publication Number Publication Date
CN101753404A true CN101753404A (zh) 2010-06-23

Family

ID=42479838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810218159A Pending CN101753404A (zh) 2008-12-12 2008-12-12 网络资源的下载方法

Country Status (1)

Country Link
CN (1) CN101753404A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685075A (zh) * 2011-03-15 2012-09-19 腾讯科技（深圳）有限公司 一种网络传输系统、服务器和客户端
CN103106105A (zh) * 2013-02-20 2013-05-15 东莞宇龙通信科技有限公司 网络设备任务处理方法和系统
CN103856531A (zh) * 2012-12-05 2014-06-11 中国科学院深圳先进技术研究院 一种基于多协作者的局域网下载装置及方法
CN104348886A (zh) * 2013-08-08 2015-02-11 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
CN102685075B (zh) * 2011-03-15 2016-12-14 腾讯科技（深圳）有限公司 一种网络传输系统、服务器和客户端
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
CN109547253A (zh) * 2018-11-28 2019-03-29 广东海格怡创科技有限公司 文件下载方法、装置、计算机设备和存储介质
US10691445B2 (en) 2014-06-03 2020-06-23 Microsoft Technology Licensing, Llc Isolating a portion of an online computing service for testing

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685075B (zh) * 2011-03-15 2016-12-14 腾讯科技（深圳）有限公司 一种网络传输系统、服务器和客户端
CN102685075A (zh) * 2011-03-15 2012-09-19 腾讯科技（深圳）有限公司 一种网络传输系统、服务器和客户端
CN103856531A (zh) * 2012-12-05 2014-06-11 中国科学院深圳先进技术研究院 一种基于多协作者的局域网下载装置及方法
CN103106105A (zh) * 2013-02-20 2013-05-15 东莞宇龙通信科技有限公司 网络设备任务处理方法和系统
CN104348886A (zh) * 2013-08-08 2015-02-11 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10691445B2 (en) 2014-06-03 2020-06-23 Microsoft Technology Licensing, Llc Isolating a portion of an online computing service for testing
US9477625B2 (en) 2014-06-13 2016-10-25 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
CN109547253A (zh) * 2018-11-28 2019-03-29 广东海格怡创科技有限公司 文件下载方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN101753404A (zh) 网络资源的下载方法
CN102595208B (zh) 云端控制网络化视频图像处理流媒体服务系统及方法
CN104488248B (zh) 一种文件同步方法、服务器及终端
US9330177B2 (en) System, method and device for internet search based on peer-to-peer network
CN104699736B (zh) 一种分布式的基于可移动设备的大规模数据采集系统及方法
CN103516744A (zh) 一种数据处理的方法和应用服务器及集群
CN102065112A (zh) 对等网络系统、建立对等网络系统的方法及相关装置
CN110311948B (zh) 容器/容器组间的通信方法及基于此的容器云网络系统
CN101741627B (zh) 一种双引擎分布式对等网络仿真系统体系结构
CN102624967B (zh) 在移动终端上实现文件下载的方法及系统
CN103299603A (zh) 对等节点和用于改进的对等节点选择的方法
CN102404387A (zh) 一种用于与其他节点进行信息同步的方法、装置和设备
CN103546572A (zh) 一种云存储装置以及多云存储联网系统和方法
CN111552502A (zh) 智能设备的nb模组升级方法及装置
CN111935306B (zh) 节点调度方法及装置
CN111092921A (zh) 数据采集方法、装置及存储介质
CN108280018B (zh) 一种节点工作流通信开销效率分析优化方法及系统
CN103369002A (zh) 一种资源下载的方法及系统
Abbas et al. A novel methodology for optimum energy consumption in wireless sensor networks
CN109308210B (zh) 一种在多核服务器上优化nfv转发服务链性能的方法
Folino et al. A Jxta Based Asynchronous Peer-to-Peer Implementation of Genetic Programming.
CN101354679A (zh) 嵌入式点对点下载系统的内存分配方法
CN113360576A (zh) 一种基于Flink Streaming的电网海量数据实时处理方法及装置
CN113434598B (zh) 实现数据双写的方法、装置与电子装置
CN113504926B (zh) 一种项目的打包方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100623