CN103207785B - 数据下载请求的处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据下载请求的处理方法、装置及系统。其中处理方法包括步骤：由主处理设备接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务；主处理设备将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行；子处理设备执行相应的下载任务，将下载任务执行结果存储到下载相关信息中的请求处理结果存储位置处，以便由请求方从请求处理结果存储位置处获取下载任务执行结果。本发明提供的方案无需等待一个下载任务完成之后继续接收下一个下载任务，而是并行执行多个下载任务，在所有下载任务执行完成后，请求方设备一并查找下载任务执行结果，大大提高了下载任务执行的效率。

Description

数据下载请求的处理方法、装置及系统

技术领域

本发明涉及计算机网络技术领域，具体涉及一种数据下载请求的处理方法、装置及系统。

背景技术

计算机在运行一个程序时需要的硬件执行主体包括CPU、内存、硬盘和网络IO等，以上各个硬件执行主体的运行速度是依次递减的。虽然CPU的运行速度最快，但是CPU需要网络IO提供的资源，而网络IO的运行速度很慢，此时运行的程序就只能空等待着网络IO提供的资源，这样在批量下载网络资源时，很多时间都被浪费了。传统的解决办法是使用同步的多线程或多进程处理方式，在每个线程（进程）中执行一个下载任务，由此提高了网络资源的下载能力。

这种同步的多线程或多进程处理方式仍然存在以下不足：对于每个线程（进程）来说，需要下载获得网络资源之后才能继续接收下一个下载任务，线程接收任务为阻塞方式，下载任务执行效率低下；每个线程（进程）仍没有充分利用CPU，使得系统的执行时间浪费在网络等待中。

另外，在现有的多线程下载中，由于把下载任务分配给多个线程处理，因此就需要在多个线程之间进行协调，由此增加了多线程处理的复杂度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据下载请求的处理方法和相应的数据下载请求的处理装置及系统。

根据本发明的一个方面，提供了一种数据下载请求的处理方法，该处理方法由包括主处理设备和一个或多个子处理设备的处理系统执行，该处理方法包括步骤：由主处理设备接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，下载相关信息包括请求处理结果存储位置信息；主处理设备将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将下载相关信息发送给子处理设备；子处理设备执行相应的下载任务，将下载任务执行结果存储到下载相关信息中的请求处理结果存储位置处，以便由请求方从请求处理结果存储位置处获取下载任务执行结果。

根据本发明的另一方面，提供了一种数据下载请求的处理装置，包括：主处理设备和一个或多个子处理设备；主处理设备包括：接收模块，适于接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，下载相关信息包括请求处理结果存储位置信息；分发模块，适于将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将下载相关信息发送给子处理设备；每个子处理设备包括：任务执行模块，适于执行相应的下载任务；至少一个存储设备，以及存储模块，适于将下载任务执行结果存储到下载相关信息中的请求处理结果存储位置所对应的存储设备中，以便由请求方从请求处理结果存储位置处获取下载任务执行结果。

根据本发明的又一方面，提供了一种数据下载请求的处理系统，包括上述数据下载请求的处理装置以及请求方设备，请求方设备适于向数据下载请求的处理装置的主处理设备发送数据下载请求，以及从请求处理结果存储位置处获取下载任务执行结果。

根据本发明提供的数据下载请求的处理方法、装置及系统，主处理设备接收请求方设备发送的数据下载请求后，将数据下载请求中所包括的一个或多个下载任务分发给相应的子处理设备来进行，子处理设备将下载任务交给内核进行处理，子处理设备接收下载任务为非阻塞方式，并且通过将下载任务执行结果存储到请求方设备指定的请求处理结果存储位置处，使得请求方设备能够去相应位置查找获取下载任务执行结果。本发明提供的方案无需等待一个下载任务完成之后继续接收下一个下载任务，而是并行执行多个下载任务，在所有下载任务执行完成后，请求方设备一并查找下载任务执行结果，由此多个下载任务的执行总时间是其中最耗时的下载任务的执行时间，大大提高了下载任务执行的效率；同时明显提高了CPU的利用率，充分利用了CPU的处理能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的数据下载请求的处理方法的流程图；

图2示出了根据本发明一个实施例的数据下载请求的处理系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的数据下载请求的处理方法100的流程图。该处理方法100由包括主处理设备和一个或多个子处理设备的处理系统执行，其中主处理设备是指执行主进程的设备，子处理设备是指执行子进程的设备，本方法100是由一个主进程和一个或多个子进程协同工作来实现的。如图1所示，方法100始于步骤S101，其中由主处理设备接收请求方发送的数据下载请求，该数据下载请求包括一个或多个下载任务，用于下载网络资源。该数据下载请求还包括下载相关信息，该下载相关信息包括请求处理结果存储位置信息。可选地，主处理设备接收的数据下载请求可以支持JSON格式。作为一种示例，表1示出了数据下载请求所包含的字段的具体内容。

表1.数据下载请求所包含的字段的示意表

如表1所示，数据下载请求包括：下载相关信息（包括callback和store）、请求ID（groupid，为可选信息）以及一个或多个下载任务（tasks）。其中下载相关信息包括请求处理结果存储位置信息（callback）和下载数据存储位置信息（store）。groupid是数据下载请求的唯一ID。tasks是一个或多个下载任务，每个下载任务都包括任务标识（taskid）和下载目标地址（如url），可选地，每个下载任务还包括cookie和/或header等信息。groupid和taskid为一对多的关系。

以下数据是某次数据下载请求所包含字段内容的具体例子：

在此次数据下载请求中，请求处理结果存储在redis系统中，redis系统为key-value方式的存储系统。因此，在这个示例中，请求处理结果存储位置（callback）的ip地址为“127.0.0.1”、端口为“6203”，其中key为“fetched_tasks_pool_w11.pic.ccc”。这样，利用这一key值，就可以从ip地址为“127.0.0.1”、端口为“6203”的redis系统中获取请求处理结果。类似的，下载数据同样可以存储在redis系统中。在这个示例中，下载数据存储位置（store）的IP地址为“127.0.0.1”、端口为“6203”。groupid为“13a492df76b528f4f9c14df8d4b8d194”。该例子仅示出了一个下载任务，其taskid为“5afe4944fdefcef6c8e0eb7cc10984d9”，下载url为“http:\/\/static16.photo.sina.com.cn\/bmiddle\/4a6769b9h6d3f4f028ebf”，referer为“http:\/\/www.biquge.com”，cookie为空。本发明不仅限于一个下载任务。还应当注意的是，本发明中的请求处理结果和下载数据可以存储在任何后续可以访问的存储系统中，而不受限于具体的存储系统。

随后，方法100进入步骤S102，其中主处理设备将一个或多个下载任务中的每个下载任务分发给相应的子处理设备来进行，同时将下载相关信息发送给子处理设备。在具有多个下载任务时，主处理设备根据当前子处理设备的数目，可通过随机函数，将每个下载任务随机分发给其中一个子处理设备进行处理。在将下载任务分发给相应子处理设备的同时，还将callback和store信息发送给相应子处理设备。

在步骤S102之后，方法100进入步骤S103，其中主处理设备向请求方返回分发成功/失败消息。主处理设备将下载任务分发后就及时地向请求方返回消息，不用等待子处理设备完成下载任务之后才返回，该消息仅返回下载任务是否分发成功的状态，如分发成功则返回分发成功消息（如ok消息），如分发失败则返回分发失败消息（如错误消息），这里体现出本方法是一种异步处理方式。

随后，方法100进入步骤S104，其中子处理设备执行相应的下载任务，获取下载任务执行结果。本方法中，子处理设备对应的子进程接收到主进程分发的下载任务后，将下载任务交给内核等待网络IO进行处理，此时整个应用程序处于空闲状态，等待内核反馈下载任务执行结果，这时子进程接收下载任务不阻塞，这里也体现出本方法是一种异步处理方式。可选的，本方法可以使用node.js语言搭建一个http服务，接收请求方发送的数据下载请求，如post请求，然后交给抓取器（spider）抓取任务。node.js是支持异步编程能力的语言，其内部采用内核提供的epoll模型，并提供简单的http服务器框架，开发效率很高。node.js具有强大的异步编程能力，尤其适合大量IO密集型的应用。

在上述例子中，如果某个子处理设备接收到taskid为“5afe4944fdefcef6c8e0eb7cc10984d9”的下载任务，则根据下载url、referer等信息去相应的服务器处下载数据。在完成下载任务且下载任务执行成功后，子处理设备获取的下载任务执行结果包括下载结果元数据。下载结果元数据指示下载任务的完成结果。如果下载任务成功下载了数据，则下载结果元数据中还可以包括下载数据在下载数据存储位置中的标识符。根据本发明的一个实施例，下载数据在下载数据存储位置中的标识符可以为redis系统中key-value存储格式中key的值。作为一种示例，表2示出了下载任务执行结果所包含的字段的具体内容。

表2.下载任务执行结果所包含的字段的示意表

字段名字	描述
		taskid	下载任务的唯一ID
imgurl	下载目标地址
		status	下载成功状态：succ或failed
errorno	错误码，可与http的状态码一致0：没有错误；404：图片不存在等

errormsg	错误信息,ok:成功等
		img_store_key	标识符

如表2所示，下载任务执行结果包括：下载结果元数据（包括taskid、imgurl、status、errorno、errormsg）以及标识符（img_store_key）。如果下载结果中的执行状态指示下载成功，则标识符img_store_key还指示所下载的数据在redis系统中的key值。taskid为下载任务标识，imgurl为下载目标地址，status为执行状态信息，errorno和errormsg为错误信息。

根据一个示例，以下数据是与上述数据下载请求的例子所对应的下载任务执行结果所包含字段内容：

在步骤S104之后，方法100进入步骤S105，其中如果子处理设备执行下载任务成功，则把执行下载任务所下载的数据存储到下载数据存储位置处，并在下载任务执行结果中包括下载数据在下载数据存储位置中的标识符，然后，子处理设备将下载任务执行结果存储到请求处理结果存储位置处。在上述例子中，子处理设备执行taskid为“5afe4944fdefcef6c8e0eb7cc10984d9”的任务成功后，根据key-value的存储格式生成标识符img_store_key的值“davimg_5afe4944fdefcef6c8e0eb7cc10984d9”，将所下载的数据存储到store指定的位置，即IP地址为“127.0.0.1”、端口为“6203”的存储设备中，以便可以利用key=“davimg_5afe4944fdefcef6c8e0eb7cc10984d9”来获取子处理设备下载的数据。然后，随后子处理设备将上述taskid、imgurl、status、errorno、errormsg的下载结果元数据和标识符img_store_key存储到callback指定的位置，具体地，将下载结果元数据存储到IP地址为“127.0.0.1”、端口为“6203”的存储设备中与key值fetched_tasks_pool_w11.pic.ccc相对应的位置处。

如果子处理设备执行下载任务失败，即子处理设备没能下载得到数据，那么子处理设备仅将下载结果元数据存储到请求处理结果存储位置处。

在步骤S105之后，方法100进入步骤S106，其中请求方从请求处理结果存储位置处获取下载结果元数据。请求方从callback指定的位置获取下载结果元数据，至少包括taskid、imgurl、status、errorno、errormsg等信息。

随后，方法100进入步骤S107，其中请求方根据下载元数据中的执行状态信息和/或错误信息判断下载任务是否执行成功，若是，执行步骤S108；否则，本方法结束。请求方根据下载结果元数据中的status、errorno、errormsg等执行状态信息和/或错误信息可以获知taskid对应的下载任务是否执行成功。如果执行下载任务失败，本方法结束，后续请求方可以重新发送针对该下载任务的数据下载请求；如果执行下载任务成功，方法进入步骤S108。

在步骤S108中，请求方根据下载数据在下载数据存储位置中的标识符来获取下载数据。请求方获取img_store_key对应的值，然后根据key_value的存储格式获取img_store_key对应的下载数据。

本发明对下载任务不做具体限制，下载任务可以是网络文件下载任务，甚至可以是图像下载任务，如果下载任务为网络文件下载任务，那么下载相关信息可以包括能够帮助完成网络文件下载的cookie信息。

根据本实施例提供的数据下载请求的处理方法，主处理设备接收请求方发送的数据下载请求后，将数据下载请求中所包括的一个或多个下载任务分发给相应的子处理设备来进行，子处理设备将下载任务交给内核进行处理，子处理设备接收下载任务为非阻塞方式，并且通过将下载任务执行结果存储到请求方指定的请求处理结果存储位置处，使得请求方能够去相应位置查找获取下载任务执行结果。本方法无需等待一个下载任务完成之后继续接收下一个下载任务，而是并行执行多个下载任务，在所有下载任务执行完成后，请求方一并查找下载任务执行结果，由此多个下载任务的执行总时间是其中最耗时的下载任务的执行时间，大大提高了下载任务执行的效率；同时明显提高了CPU的利用率，充分利用了CPU的处理能力。而且，在主处理设备将下载任务分发给子处理设备后，主处理设备及时向请求方返回分发成功/失败消息，对请求方是友好的，体现了异步处理的思想。另外，本方法是由主处理设备执行的主进程和一个或多个子处理设备执行的子进程协同工作来是实现的，由主处理设备将下载任务分发的子处理设备进行处理，多个子处理设备仅需配合主处理设备完成相应的下载任务，而无需多个子处理设备之间进行协调工作，因此降低了多线程处理的复杂度。

图2示出了根据本发明一个实施例的数据下载请求的处理系统的结构框图。如图2所示，该系统包括请求方设备100、数据下载请求的处理装置200和至少一个存储设备300，其中请求方设备100适于向数据下载请求的处理装置200的主处理设备210发送数据下载请求，以及从请求处理结果存储位置对应的存储设备中获取下载任务执行结果。

请求方设备100包括网络接口110、获取模块120、判断模块140以及调取模块130。数据下载请求的处理装置200包括主处理设备210和子处理设备220，其中主处理设备210包括接收模块211、分发模块212和发送模块213，子处理设备220包括任务执行模块221和存储模块222。图2中仅示出数据下载请求的处理装置包括一个子处理设备的例子，本发明不仅限于此，数据下载请求的处理装置可以包括多个子处理设备。

网络接口110适于向数据下载请求的处理装置200发送数据下载请求，接收模块211适于接收该数据下载请求。可选地，接收模块211接收的数据下载请求可以支持JSON格式。该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，下载相关信息包括请求处理结果存储位置信息。一个或者多个下载任务中的每一个下载任务都包括任务标识和下载目标地址。数据下载请求的例子可以参见上述表1。如表1所示，数据下载请求包括：下载相关信息（包括callback和store）、请求ID（groupid，为可选信息）以及一个或多个下载任务（tasks）。其中下载相关信息包括请求处理结果存储位置信息（callback）和下载数据存储位置信息（store）。groupid是数据下载请求的唯一ID。tasks是一个或多个下载任务，每个下载任务都包括任务标识（taskid）和下载目标地址（如url），可选地，每个下载任务还包括cookie和/或header等信息。groupid和taskid为一对多的关系。

分发模块212适于将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将下载相关信息发送给子处理设备。在具有多个下载任务时，分发模块212根据当前子处理设备的数目，可通过随机函数，将每个下载任务随机分发给其中一个子处理设备进行处理。在将下载任务分发给相应子处理设备的同时，还将下载相关信息发送给相应的子处理设备。

发送模块213适于在分发模块212将一个或者多个下载任务分发给一个或多个子处理设备执行之后，向请求方设备100返回分发成功/失败消息。网络接口110接收发送模块213返回的分发成功/失败消息。本系统中，在分发模块212将下载任务分发后，发送模块213就及时地向请求方设备100返回消息，不用等待子处理设备完成下载任务之后才返回，该消息仅返回下载任务是否成功的状态，如分发成功则返回分发成功消息（如ok消息），如分发失败则返回分发失败消息（如错误消息），这里体现出本系统遵循的是一种异步处理方式。

任务执行模块221适于接收分发模块212分发的下载任务，并执行相应的下载任务。任务执行模块221将下载任务交给内核等待网络IO进行处理，此时整个应用程序处于空闲状态，等待内核反馈下载任务执行结果，这时子处理设备接收下载任务不阻塞，这里也体现出本系统遵循的是一种异步处理方式。以上面提供的示例为例，如果任务执行模块221接收到上述taskid为“5afe4944fdefcef6c8e0eb7cc10984d9”的下载任务，则根据下载url、referer等信息去相应的服务器处下载数据。在完成下载任务且下载任务执行成功后，任务执行模块221获取的下载任务执行结果包括下载结果元数据，其中下载结果元数据指示下载任务的完成结果，如果下载任务成功下载了数据，则下载结果元数据中还可以包括下载数据在下载数据存储位置的标识符。根据本发明的一个实施例，下载数据在下载数据存储位置中的标识符可以为redis系统中key-value存储格式中key的值。下载任务执行结果的例子可以参见上述表2。如表2所示，下载任务执行结果包括：下载结果元数据（包括taskid、imgurl、status、errorno、errormsg）以及标识符（img_store_key）。如果下载结果中的执行状态指示下载成功，则标识符img_store_key中还存储了所下载的数据在redis系统中的key值。taskid为下载任务标识，imgurl为下载目标地址，status为执行状态信息，errorno和errormsg为错误信息。

存储模块222适于将下载任务执行结果存储到至少一个存储设备300中的一个，其中这个存储设备是下载相关信息中的请求处理结果存储位置所指定的设备，以便由请求方设备100从请求处理结果存储位置处获取下载任务执行结果。下载相关信息还包括下载数据存储位置信息，如果任务执行模块221执行下载任务成功，则存储模块222还适于把执行下载任务所下载的数据存储到至少一个存储设备300中的一个，其中这个存储设备是下载相关信息中的下载数据存储位置所指定的设备，并在下载任务执行结果中包括下载数据在下载数据存储位置中的标识符。根据本发明的一个实施例，上述至少一个存储设备300是属于redis系统的设备。在上述示例中，任务执行模块221执行taskid为“5afe4944fdefcef6c8e0eb7cc10984d9”的任务成功后，根据key-value的存储格式生成标识符img_store_key的值“davimg_5afe4944fdefcef6c8e0eb7cc10984d9”，存储模块222将所下载的数据存储到store指定的位置，即IP地址为“127.0.0.1”、端口为“6203”的存储设备中，以便可以利用key=“davimg_5afe4944fdefcef6c8e0eb7cc10984d9”来获取任务执行模块221下载的数据。随后存储模块222将上述taskid、imgurl、status、errorno、errormsg的下载结果元数据和标识符img_store_key存储到callback指定的位置，具体地，将下载结果元数据存储到IP地址为“127.0.0.1”、端口为“6203”的存储设备中与key值fetched_tasks_pool_w11.pic.ccc相对应的位置处。在这个示例中，下载数据、下载结果元数据和标识符存储到同一个存储设备中。如果任务执行模块221执行下载任务失败，即任务执行模块221没能下载得到数据，那么存储模块222仅将下载结果元数据存储到请求处理结果存储位置所指定的存储设备中。

如上所述，下载任务执行结果包括下载结果元数据，下载结果元数据包括任务标识、下载目标地址以及执行状态信息和/或错误信息。在请求方设备100中，获取模块120适于通过网络接口110从请求处理结果存储位置处获取下载结果元数据；判断模块140适于根据下载结果元数据中的执行状态信息和/或错误信息判断下载任务是否执行成功；调取模块130适于在判断模块140判断出下载任务执行成功的情况下，通过网络接口110根据下载数据在下载数据存储位置中的标识符来获取下载数据。在上述示例中，获取模块120从callback指定的位置获取下载结果元数据，至少包括taskid、imgurl、status、errorno、errormsg等信息。判断模块140根据下载结果元数据中的status、errorno、errormsg等执行状态信息和/或错误信息可以获知taskid对应的下载任务是否执行成功。如果执行下载任务成功，调取模块130从fetched_tasks_pool_w11.pic.ccc的位置获取img_store_key，然后根据key_value的存储格式获取img_store_key对应的下载数据。

本系统对下载任务不做具体限制，下载任务可以是网络文件下载任务，甚至可以是图像下载任务，如果下载任务为网络文件下载任务，那么下载相关信息可以包括能够帮助完成网络文件下载的cookie信息。

根据本实施例提供的数据下载请求的处理装置及系统，主处理设备接收请求方设备发送的数据下载请求后，将数据下载请求中所包括的一个或多个下载任务分发给相应的子处理设备来进行，子处理设备将下载任务交给内核进行处理，子处理设备接收下载任务为非阻塞方式，并且通过将下载任务执行结果存储到请求方设备指定的请求处理结果存储位置处，使得请求方设备能够去相应位置查找获取下载任务执行结果。本系统无需等待一个下载任务完成之后继续接收下一个下载任务，而是并行执行多个下载任务，在所有下载任务执行完成后，请求方设备一并查找下载任务执行结果，由此多个下载任务的执行总时间是其中最耗时的下载任务的执行时间，大大提高了下载任务执行的效率；同时明显提高了CPU的利用率，充分利用了CPU的处理能力。而且，在主处理设备将下载任务分发给子处理设备后，主处理设备及时向请求方返回分发成功/失败消息，对请求方设备来说是友好的，体现了异步处理的思想。另外，本系统是由主处理设备执行的主进程和一个或多个子处理设备执行的子进程协同工作来是实现的，由主处理设备将下载任务分发的子处理设备进行处理，多个子处理设备仅需配合主处理设备完成相应的下载任务，而无需多个子处理设备之间进行协调工作，因此降低了多线程处理的复杂度。

在根据本发明的处理方法中，下载任务为网络文件下载任务，一个或者多个下载任务中的每一个下载任务都包括cookie信息。

在根据本发明的处理方法中，下载任务为图像下载任务。

在根据本发明的处理装置中，一个或者多个下载任务中的每一个下载任务都包括任务标识和下载目标地址。

在根据本发明的处理装置中，下载任务为网络文件下载任务，一个或者多个下载任务中的每一个下载任务都包括cookie信息。

在根据本发明的处理装置中，下载任务为图像下载任务。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的数据下载请求的处理装置及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (13)

1.一种数据下载请求的处理方法，该处理方法由包括主处理设备和一个或多个子处理设备的处理系统执行，该处理方法包括步骤：

由主处理设备接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，所述下载相关信息包括请求处理结果存储位置信息；

所述主处理设备将所述一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将所述下载相关信息发送给所述子处理设备；

所述子处理设备执行相应的下载任务，将下载任务执行结果存储到所述下载相关信息中的请求处理结果存储位置处，以便由请求方从所述请求处理结果存储位置处获取下载任务执行结果；

其中，所述下载相关信息还包括下载数据存储位置信息；所述下载任务执行结果包括下载结果元数据，所述下载结果元数据包括任务标识、下载目标地址以及执行状态信息和/或错误信息；

所述方法还包括步骤：如果子处理设备执行下载任务成功，则把执行所述下载任务所下载的数据存储到所述下载相关信息中的下载数据存储位置处，并在所述下载任务执行结果中包括所述下载数据在下载数据存储位置中的标识符。

2.如权利要求1所述的处理方法，还包括步骤：

在所述主处理设备将一个或者多个下载任务分发给一个或多个子处理设备执行之后，所述主处理设备向所述请求方返回分发成功/失败消息。

3.如权利要求1或2所述的处理方法，所述一个或者多个下载任务中的每一个下载任务都包括任务标识和下载目标地址。

4.如权利要求1或2所述的处理方法，其中

所述请求方从所述请求处理结果存储位置处获取下载任务执行结果包括：

所述请求方从所述请求处理结果存储位置处获取下载结果元数据；

根据所述下载结果元数据中的执行状态信息和/或错误信息判断下载任务是否执行成功；若成功，则根据所述下载数据在下载数据存储位置中的标识符来获取所述下载数据。

5.如权利要求1或2所述的处理方法，所述下载任务为网络文件下载任务，所述一个或者多个下载任务中的每一个下载任务都包括cookie信息。

6.如权利要求1或2所述的处理方法，所述下载任务为图像下载任务。

7.一种数据下载请求的处理装置，包括：主处理设备、一个或多个子处理设备；

所述主处理设备包括：

接收模块，适于接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，所述下载相关信息包括请求处理结果存储位置信息；

分发模块，适于将所述一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将所述下载相关信息发送给所述子处理设备；

每个子处理设备包括：

任务执行模块，适于执行相应的下载任务；

存储模块，适于将下载任务执行结果存储到所述下载相关信息中的请求处理结果存储位置所对应的存储设备中，以便由请求方从所述请求处理结果存储位置处获取下载任务执行结果；

其中，所述下载相关信息还包括下载数据存储位置信息；所述下载任务执行结果包括下载结果元数据，所述下载结果元数据包括任务标识、下载目标地址以及执行状态信息和/或错误信息；

所述存储模块还适于如果所述任务执行模块执行下载任务成功，则把执行所述下载任务所下载的数据存储到所述下载相关信息中的下载数据存储位置所对应的存储设备中，并在所述下载任务执行结果中包括所述下载数据在下载数据存储位置中的标识符。

8.如权利要求7所述的处理装置，所述主处理设备还包括：发送模块，适于在所述分发模块将一个或者多个下载任务分发给一个或多个子处理设备执行之后，向所述请求方返回分发成功/失败消息。

9.如权利要求7或8所述的处理装置，所述一个或者多个下载任务中的每一个下载任务都包括任务标识和下载目标地址。

10.如权利要求7或8所述的处理装置，所述下载任务为网络文件下载任务，所述一个或者多个下载任务中的每一个下载任务都包括cookie信息。

11.如权利要求7或8所述的处理装置，所述下载任务为图像下载任务。

12.一种数据下载请求的处理系统，包括上述权利要求7至11中的任一个所述的数据下载请求的处理装置以及请求方设备，所述请求方设备适于向所述数据下载请求的处理装置的主处理设备发送数据下载请求，以及从所述请求处理结果存储位置处获取下载任务执行结果。

13.如权利要求12所述的处理系统，所述下载任务执行结果包括下载结果元数据，所述下载结果元数据包括任务标识、下载目标地址以及执行状态信息和/或错误信息；

所述请求方设备包括：

网络接口，适于向主处理设备发送数据下载请求，以及接收主处理设备返回的分发成功/失败消息；

获取模块，适于通过所述网络接口从所述请求处理结果存储位置处获取下载结果元数据；

判断模块，适于根据所述下载结果元数据中的执行状态信息和/或错误信息判断下载任务是否执行成功；

调取模块，适于在所述判断模块判断出下载任务执行成功的情况下，根据所述下载数据在下载数据存储位置中的标识符通过所述网络接口来获取所述下载数据。