CN103645939B - 一种图片抓取的方法和系统 - Google Patents

Abstract

本发明公开了一种图片抓取的方法和系统，其中，所述方法包括：图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。通过本发明解决了图片抓取效率低，抓取过程耗时久，不能满足数以亿计的图片抓取任务需求的问题。

Description

一种图片抓取的方法和系统

技术领域

本发明涉及图片抓取技术，具体涉及一种图片抓取的方法和系统。

背景技术

图片抓取是指在互联网上快速搜索并批量下载图片。现有技术提供的一种图片抓取方法，可以分析出网页中的链接网址信息，根据链接网址信息通过多进程、多线程并发抓取技术，到相应的网页下载图片，把所有相关联的网页图片都批量下载到计算机或其它存储设备中。

在日常生活中，图片抓取技术被越来越广泛的应用。例如：一些电商网站、团购网站、图片网站等很多小型网站，由于受到自身网站服务器性能、网站软件配置等限制，这些小型网站上的图片在展现时速度较慢，而且展现过程也不稳定，这时可以通过图片抓取技术将这些小型网站上的图片抓取到一个大型的服务器上，通过所述大型的服务器来解决图片展现速度慢、展现不稳定的问题。又例如：一些图片搜索网站或新闻网站等，通过图片抓取技术来抓取整个互联网上的大部分图片，然后对抓取得到的图片进行分析、过滤，最后进行信息的发布。

然而，在实际应用中，现有的图片抓取技术也存在许多问题。网络上每天的信息量是非常大的，服务器每天需要抓取的图片数量数以亿计，现有的图片抓取技术，采用的是多进程、多线程并发抓取，而多进程、多线程并发抓取当接收到一个图片抓取请求就生成一个进程，对内存和CPU（Central Processing Unit，中央处理器）调度资源的消耗很大，内存和CPU能支持的进程数量是有限的，因此也就限制了服务器在同一时刻可以处理的图片抓取任务的数量，图片抓取效率低。进而，当图片抓取任务数量一定时，由于受到服务器在同一时刻可以处理的图片抓取任务的数量的限制，完成所有图片抓取任务需要消耗大量时间，耗时久，不能满足数以亿计的图片抓取任务需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图片抓取的方法和相应的一种图片抓取的系统。

依据本发明的一个方面，提供了一种图片抓取的方法，包括：

图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

可选地，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，包括：

通过所述主进程监听所有子进程中的图片抓取任务数量；

通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

可选地，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，还包括：

当所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

可选地，在所述图片抓取服务器接收图片抓取任务步骤之前，所述方法还包括：

图片数据接口持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

将所述图片抓取任务保存在任务队列中；

任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器。

可选地，所述任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器，包括：

根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；

任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

可选地，在所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤之后，所述方法还包括：

将所述异步抓取的结果信息返回至所述主进程。

可选地，在所述将所述异步抓取的结果信息返回至所述主进程步骤之后，所述方法还包括：

当所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口；

当所述结果信息为图片抓取失败时，重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。

可选地，在所述重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤之后，所述方法还包括：

统计所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤的重复次数；

当所述重复次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

根据本发明的另一方面，提供了一种图片抓取的系统，包括：

接收模块，用于接收图片抓取任务，启动图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

主进程模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

子进程模块，用于通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

可选地，所述主进程模块，包括:

监听模块，用于通过所述主进程监听所有子进程中的图片抓取任务数量；

分发模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

可选地，所述主进程模块，还包括：

建立模块，用于在所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

可选地，所述系统还包括：

图片数据接口模块，用于在所述接收模块接收图片抓取任务之前，持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

任务队列模块，用于将所述图片抓取任务保存在任务队列中；

任务分发模块，用于按设定规则从所述任务队列中提取所述图片抓取任务，并将提取的得到的图片抓取任务分发至所述图片抓取服务器。

可选地，所述任务分发模块包括：

调整模块，用于根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；

任务分发确定模块，用于按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

可选地，所述系统还包括：

信息返回模块，用于在所述子进程模块通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取之后，将所述异步抓取的结果信息返回至所述主进程模块。

可选地，所述系统还包括：

图片保存模块，用于在所述信息返回模块将所述异步抓取的结果信息返回至所述主进程之后，在所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口模块；

重复抓取模块，用于在所述结果信息为图片抓取失败时，重复执行所述子进程模块。

可选地，所述系统还包括：

统计模块，用于统计所述子进程模块的重复执行次数；

抓取结果返回模块，用于在所述重复执行次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

本发明的所述一种图片抓取的方法和系统，图片抓取服务器可以持续地接收图片抓取任务，减少了接收图片抓取任务时的等待时间，提高了抓取效率。图片抓取服务器下的主进程将图片抓取任务按照预置抓取条件进行分发，避免了将图片抓取任务分发至已达到承载极限的子进程中，而造成的图片抓取任务搁置或延迟处理的问题，提高了图片抓取的效率。子进程通过异步抓取机制完成待抓取图片的异步抓取，可以同时执行多个图片抓取任务，提高了图片抓取的效率。综上所述，通过本发明的图片抓取方案，提高了图片抓取效率，节约了时间。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明第一实施例中一种图片抓取的方法流程图；

图2是本发明第二实施例中一种图片抓取的方法流程图；

图3是本发明第三实施例中一种图片抓取流程的示意图；

图4是图3所示实施例中一种返回抓取结果的具体流程示意图；

图5是本发明第五实施例中一种图片抓取的系统的结构框图；

图6是本发明第六实施例中一种图片抓取的系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，是本发明第一实施例中一种图片抓取的方法流程图。在本发明实施例中，上述图片抓取的方法可以包括：

步骤102，图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程。其中，所述图片抓取任务中包括待抓取图片的链接地址。

在本发明实施例中，图片抓取服务器可以在接收到图片抓取任务的同时就启动图片抓取服务器中的图片抓取主进程。而现有的图片抓取方法，当接收到一个图片抓取任务后，需要等待所述接收到的图片抓取任务处理完成并得到返回的处理结果之后，才可以继续接收下一个图片抓取任务。并且在本发明实施例中，图片抓取服务器可以持续地接收图片抓取任务，然后通过主进程去处理接收到的图片抓取任务，不需要等待获取返回的图片抓取任务的处理结果之后再接收新的图片抓取任务。

步骤104，图片抓取服务器通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程。

在本发明实施例中，主程序下可以有多个子进程，子进程的数量可以根据网络的带宽、磁盘的性能以及用户的需求来进行设定。具体执行图片抓取任务的是子进程，主进程的主要工作是进行图片抓取任务的分发。每个子进程有承载的任务数量的限制，在某一时刻，可能一部分子进程当前正在执行的任务数量可能达到了其可以承载的极限，另一部分子进程当前正在执行的任务数量只有一两个，还有一部分子进程当前正处于空闲状态，主进程就需要将图片抓取任务分发至满足预置抓取条件的子进程。例如，主进程可以优先将图片抓取任务分发至处于空闲状态的子进程。

步骤106，图片抓取服务器通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

在本发明实施例中，多个子进程可以同时进行图片抓取任务。每个子进程在进行待抓取图片的异步抓取时，较佳地，子进程可以通过异步非阻塞I/O模型进行所述带抓取图片的异步抓取，其中I/O是指Input/Output，即输入输出端口。所述异步非阻塞I/O模型是一种任务处理与I/O重叠进行的模型，即：在一个子进程中，利用计算机处理速度与I/O速度之间的差异，对计算操作和I/O处理进行重叠处理，使所述一个子进程可以同时执行多个I/O请求。

所述异步非阻塞I/O模型具体实现过程可以如下：当接收到一个图片抓取任务时，会产生一个图片抓取任务请求，异步非阻塞I/O模型会read（读）请求，read请求后立即返回read请求响应，说明read请求已经成功发起；在返回read请求响应的同时在后台启动read操作。在后台启动并执行read操作时，异步非阻塞I/O模型会同时执行其它处理操作，当read操作的响应到达时，会产生一个执行信号或一个基于线程的回调函数，异步非阻塞I/O模型通过所述执行信号或所述回调函数来完成read请求的I/O处理，即完成待抓取图片的异步抓取。当一个或多个I/O请求挂起时，CPU可以执行其它任务；或者更为常见的是，在发起其它I/O请求的同时对已经完成的I/O进行操作。这里需要说明的是，在本发明实施例中，较佳地，所述异步非阻塞I/O模型是基于Node.js进行开发，Node.js是纯异步框架，开发成本较低。

综上所述，本实施例中的图片抓取的方法可以持续地接收图片抓取任务，减少了接收图片抓取任务时的等待时间，提高了抓取效率。主进程将图片抓取任务按照预置抓取条件进行分发，避免了将图片抓取任务分发至已达到承载极限的子进程中，而造成的图片抓取任务搁置或延迟处理的问题，提高了图片抓取的效率。子进程通过异步抓取机制完成待抓取图片的异步抓取，可以同时执行多个I/O请求，提高了图片抓取的效率。因此，本实施例所述的图片抓取的方法抓取效率高、用时短。采用异步非阻塞I/O技术进行图片的抓取，其抓取性能瓶颈取决于网络带宽及磁盘IO性能，磁盘IO性能远远大于CPU性能，因此，增加了在同一时刻进行图片抓取任务的任务数量，提高了图片抓取效率。

参照图2，是本发明第二实施例中一种图片抓取的方法流程图。在本发明实施例中，所述图片抓取的方法可以包括：

步骤202，图片数据接口持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务。

本发明实施例所述的图片抓取的方法采用异步抓取，在异步情况下，图片数据接口可以持续接收图片抓取请求，生成图片抓取任务，不等待任务的返回结果，而是一直接收图片抓取请求并一直向下执行图片抓取的其它步骤，图片抓取的最终结果通过状态、通知、事件等方式返回，通知进程中的任务完成。图片抓取接口，负责接受外部图片抓取请求，获取待抓取图片的地址，生成图片抓取任务，并立即返回图片抓取读请求给客户端。

步骤204，图片数据接口将所述图片抓取任务保存在任务队列中。

在本发明实施例中，任务队列可以是一个常驻的内存队列。例如，所述任务队列可以使用redis实现。redis是一个key-value结构的存储系统，redis支持存储的value类型相对较多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash（哈希类型）等。所述任务队列用于保存待处理的图片抓取任务。所述任务队列在磁盘上做了持久化，因此当图片抓取服务器宕机恢复时也可以继续上次的抓取任务。

步骤206，任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器。

在本发明实施例中，图片抓取服务器的数量是动态可扩展的。所述步骤206可以包括：

步骤2062，任务分发器根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量。

任务分发器可以从任务队列当中取出待处理的图片抓取任务随机发送给一个图片抓取服务器，由于任务分发器分发待处理的图片抓取任务这一步骤是无状态的，因此可以根据需要动态的扩展图片抓取服务器的数目，所述图片抓取服务器可以是一个或多个。例如，每个图片抓取服务器可以承载处理的图片抓取任务是十个，当任务队列中有100个图片抓取任务，而只有八个图片抓取服务器时，可以动态增加两个图片抓取服务器。或者，当任务队列中有100个图片抓取任务，此时有11个图片抓取服务器，则可以动态减少一个图片抓取服务器。进一步地，还可以动态配置每个图片抓取服务器上的进程数目。由图片抓取服务器的管理员依据机器性能配置启动不同数目的进程数；并基于当前待处理的图片抓取任务的数量在不同数目的服务器上启动服务。服务器对外只要两个入口，新增/减少服务器时，只需更改入口的配置，由入口依据配置把图片抓取请求随机分发到不同的服务器上。

步骤2064，任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

其中，所述任务分发器在从所述任务队列中提取待处理的图片抓取任务时，可以按照设定规则进行提取，所述设定规则是指，任务分发器按照图片抓取任务被保存至所述任务队列中的先后顺序，依次从所述任务队列中提取得到所述图片抓取任务。

步骤208，图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程。其中，所述图片抓取任务中包括待抓取图片的链接地址。

步骤210，图片抓取服务器通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程。

在本发明实施例中，由于每个子进程有承载的任务数量的限制，因此所述步骤210可以包括：

步骤2102，图片抓取服务器通过所述主进程监听所有子进程中的图片抓取任务数量。

步骤2104，图片抓取服务器通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

每个子进程当前正在执行的图片抓取任务的数量可以是不同的，主进程进行图片抓取任务分发时，需要根据每个子进程正在执行的图片抓取的任务数量进行分发。例如，在本发明实施例中，可以将所述第一设定阈值设置为10，当一个子进程中正在执行和等待执行的图片抓取任务的数量之和大于等于10时，主进程不再向这个子进程中分发图片抓取任务。当一个子进程中正在执行和等待执行的图片抓取任务的数量之和小于10时，主进程则可以选择向这个子进程中分发图片抓取任务；较佳地，主进程在分发图片抓取任务时，还可以在图片抓取任务的数量之和小于10的子进程中优选选择任务数量最少的一个子进程进行图片抓取任务的分发。

进一步地，子进程的数量是可以扩展的，当所有子进程中正在执行的图片抓取任务和等待执行的图片抓取任务的数量之和都不小于所述第一设定阈值时，所述步骤210还可以包括：

步骤2106，当所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，图片抓取服务器通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。这里需要说明的是，主进程新建一个子进程的条件包括当不仅限于所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值。在子进程中的图片抓取任务数量小于所述第一设定阈值时，所述主进程也可以根据用户需要，新建一个子进程，将图片抓取任务分发至所述新建的子进程。其中，第一设定阈值可以本领域技术人员根据实际情况适当设定，本发明对此不作限制。

步骤212，图片抓取服务器通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

步骤214，子进程将所述异步抓取的结果信息返回至所述主进程。

步骤216，当所述结果信息为图片抓取成功时，子进程保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口。

步骤218，当所述结果信息为图片抓取失败时，子进程重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。

步骤220，子进程统计所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤的重复次数。

步骤222，当所述重复次数满足第二设定阈值时，子进程将抓取失败结果返回至所述图片数据接口。

其中，第二设定阈值可以由本领域技术人员根据实际需求适当设定，本发明对此不作限制。

在本发明实施例中，子进程在完成待抓取图片的异步抓取之后，会向主进程返回结果信息，当返回的结果信息是图片抓取成功时，子进程可以保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口；当返回的结果信息是图片抓取失败时，子进程可以重新返回执行所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。每次返回执行完所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤之后，子进程同样会向主进程返回结果信息。当返回的结果信息为图片抓取失败时，则继续重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。统计下重复执行所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤的重复次数。当重复次数满足设定第二设定阈值（例如，重复次数为3），返回的结果信息仍然是图片抓取失败时，则将抓取失败结果返回至所述图片数据接口，确定所述图片抓取任务异步抓取失败。在本发明实施例中，允许一定次数的重新抓取，从而提高了待抓取图片的异步抓取成功率。

这里需要说明的是，所述图片数据接口、所述任务队列、所述任务分发器和所述图片抓取服务器可以设置在同一个服务器上，也可以设置在不同的多个服务器上，本发明对此不做限定。

综上所述，在本发明实施例中，图片抓取服务器的数量是动态可扩展的，避免了将所有图片抓取任务都分发到一个服务器，造成服务器的过载崩溃，将图片抓取任务进行合理分配，减小了每个图片抓取服务器的压力，加快了图片抓取任务的处理速度。基于任务队列的图片抓取的方法决定了图片抓取的异步性，单个进程抓取的阻塞不会影响其它进程的抓取，提高了图片抓取效率，节约时间。其中，异步性体现在抓取进程基于异步非阻塞I/O；以及用户提交请求后，不等待请求处理结果，待处理完成后回调给用户处理结果。

参照图3，是本发明第三实施例中一种图片抓取流程的示意图。在本发明实施例中，数据接口接收图片抓取请求，生成图片抓取任务，并将图片抓取任务放入任务队列中。其中，所述图片抓取任务中包括待抓取图片的链接地址。任务队列在磁盘上做了持久化处理，用于保存图片抓取任务。然后，将任务队列中的图片抓取任务按照先入先出进行排队，任务分发器可以将任务队列中的图片抓取任务随机分发给多个图片抓取服务器中的其中一个图片抓取服务器。

在所述图片抓取服务器接收到图片抓取任务时，启动所述图片抓取服务器中的主进程，其中，主进程维护主进程下的各个子进程正在进行的图片抓取任务的url数（UniformResource Locator，URL，统一资源定位符），当某个子进程中正在进行抓取的url数少于设定的数值大小时，主进程可以将图片抓取任务分发给所述url数少于设定的数值大小的子进程。其中，所述主进程下的子进程可以有多个，例如：子进程1、子进程2、子进程3···子进程N，N为大于等于1的正整数。子进程根据待抓取图片的链接地址，进行所述待抓取图片的异步抓取（异步抓取代码可以采用PHP的curl库实现），并将抓取结果返回给数据接口，其中，所述抓取结果包括：抓取成功结果和抓取失败结果；PHP指：Hypertext Preprocessor，超文本预处理器；curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本。

进一步地，参照图4，是图3所示实施例中一种返回抓取结果的具体流程示意图。子进程进行待抓取图片的异步抓取，并将异步抓取的结果信息返回至主进程，当结果信息是图片抓取成功时（http返回码为200），表示抓取成功，接着保存图片，并将所述抓取成功结果返回至所述图片数据接口。当结果信息是图片抓取失败时，子进程重试异步抓取的步骤，重试至少3次，每次重试完成后，同样都会返回结果信息。在重试过程中，如果返回的结果信息是图片抓取成功，则保存图片，并将抓取成功结果返回至所述图片数据接口。当重复3次后，状态信息仍然是图片抓取失败时，确定图片抓取失败，将所述抓取失败结果返回至所述图片数据接口。

综上所述，本发明实施例所述的图片抓取方法，图片抓取服务器和主进程下的子进程都是动态可扩展的，增加了在同一时刻可以处理的图片抓取任务的数量，提高了图片抓取效率，节约时间。进一步地，在图片抓取失败后，允许一定次数的重新抓取，提高了图片的抓取成功率。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必需的。

基于与上述图片抓取的方法同一发明构思，参照图5，是本发明第五实施例中一种图片抓取的系统的结构框图。在本发明实施例中，所述图片抓取系统可以包括：

接收模块502，用于接收图片抓取任务，启动图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址。

主进程模块504，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程。

子进程模块506，用于通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

综上所述，本发明实施例所述的图片抓取的系统，图片抓取服务器可以持续的接收图片抓取任务，减少了接收图片抓取任务时的等待时间，提高了抓取效率。主进程模块通过主进程将图片抓取任务按照预置抓取条件进行分发，避免了将图片抓取任务分发至已达到承载极限的子进程中，而造成的图片抓取任务搁置或延迟处理的问题，提高了图片抓取的效率。子进程模块通过子进程采用异步抓取机制完成待抓取图片的异步抓取，可以同时执行多个I/O请求，提高了图片抓取的效率。因此，本发明实施例所述的图片抓取的方法抓取效率高、用时短。

参照图6，是本发明第六实施例中一种图片抓取的系统的结构框图。在本发明实施例中，所述图片抓取系统可以包括：

图片数据接口模块602，用于在所述接收模块接收图片抓取任务之前，持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务。

任务队列模块604，用于将所述图片抓取任务保存在任务队列中。

任务分发模块606，用于按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器。

在本发明实施例中，所述任务分发模块606可以包括：

调整模块6062，用于根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量。

任务分发确定模块6064，用于按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

接收模块608，用于接收图片抓取任务，启动图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址.

主进程模块610，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程。

在本发明实施例中，所述主进程模块610可以包括：

监听模块6102，用于通过所述主进程监听所有子进程中的图片抓取任务数量.

分发模块6104，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

建立模块6106，用于在所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

子进程模块612，用于通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

较佳地，所述子进程模块612具体用于。通过所述子进程根据所述待抓取图片的链接地址，通过异步非阻塞I/O进行所述待抓取图片的异步抓取。

信息返回模块614，用于在所述子进程模块通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取之后，将所述异步抓取的结果信息返回至所述主进程模块。

图片保存模块616，用于在所述信息返回模块将所述异步抓取的结果信息返回至所述主进程之后，在所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口模块。

重复抓取模块618，用于在所述结果信息为图片抓取失败时，重复执行所述子进程模块。

统计模块620，用于统计所述子进程模块的重复执行次数。

抓取结果返回模块622，用于在所述重复执行次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

综上所述，本发明实施例所述的图片抓取系统，图片抓取服务器和子进程的数量都是动态可扩展的，在进行图片抓取任务分发时避免了服务器的过载和任务的延迟处理，提高了图片抓取的效率，节约了时间。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的一种图片抓取的设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种图片抓取的方法，包括：

图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

A2、如A1所述的方法，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，包括：

通过所述主进程监听所有子进程中的图片抓取任务数量；

通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

A3、如A2所述的方法，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，还包括：

当所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

A4、如A1所述的方法，在所述图片抓取服务器接收图片抓取任务步骤之前，所述方法还包括：

图片数据接口持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

将所述图片抓取任务保存在任务队列中；

任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器。

A5、如A4所述的方法，所述任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并将提取得到的图片抓取任务分发至所述图片抓取服务器，包括：

根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；

任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

A6、如A4所述的方法，在所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤之后，所述方法还包括：

将所述异步抓取的结果信息返回至所述主进程。

A7、如A6所述的方法，在所述将所述异步抓取的结果信息返回至所述主进程步骤之后，所述方法还包括：

当所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口；

当所述结果信息为图片抓取失败时，重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。

A8、如A7所述的方法，在所述重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤之后，所述方法还包括：

统计所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤的重复次数；

当所述重复次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

本发明还公开了B9、一种图片抓取的系统，包括：

接收模块，用于接收图片抓取任务，启动图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

主进程模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

子进程模块，用于通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取。

B10、如B9所述的系统，所述主进程模块，包括:

监听模块，用于通过所述主进程监听所有子进程中的图片抓取任务数量；

分发模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程。

B11、如B10所述的系统，所述主进程模块，还包括：

建立模块，用于在所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

B12、如B9所述的系统，所述系统还包括：

图片数据接口模块，用于在所述接收模块接收图片抓取任务之前，持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

任务队列模块，用于将所述图片抓取任务保存在任务队列中；

任务分发模块，用于按设定规则从所述任务队列中提取所述图片抓取任务，并将提取的得到的图片抓取任务分发至所述图片抓取服务器。

B13、如B12所述的系统，所述任务分发模块包括：

调整模块，用于根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；

任务分发确定模块，用于按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

B14、如B12所述的系统，所述系统还包括：

信息返回模块，用于在所述子进程模块通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取之后，将所述异步抓取的结果信息返回至所述主进程模块。

B15、如B14所述的系统，所述系统还包括：

图片保存模块，用于在所述信息返回模块将所述异步抓取的结果信息返回至所述主进程之后，在所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口模块；

重复抓取模块，用于在所述结果信息为图片抓取失败时，重复执行所述子进程模块。

B16、如B15所述的系统，所述系统还包括：

统计模块，用于统计所述子进程模块的重复执行次数；

抓取结果返回模块，用于在所述重复执行次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

Claims (12)

1.一种图片抓取的方法，包括：

任务分发器按设定规则从任务队列中提取图片抓取任务，并将提取得到的图片抓取任务分发至图片抓取服务器；

图片抓取服务器接收图片抓取任务，启动所述图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取；

其中，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，包括：

通过所述主进程监听所有子进程中的图片抓取任务数量；

通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程；

其中，所述任务分发器按设定规则从任务队列中提取图片抓取任务，并将提取得到的图片抓取任务分发至图片抓取服务器，包括：根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；任务分发器按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

2.如权利要求1所述的方法，其特征在于，所述通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程，还包括：

当所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

3.如权利要求1所述的方法，其特征在于，在所述任务分发器按设定规则从任务队列中提取图片抓取任务，并将提取得到的图片抓取任务分发至图片抓取服务器步骤之前，所述方法还包括：

图片数据接口持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

将所述图片抓取任务保存在任务队列中。

4.如权利要求3所述的方法，其特征在于，在所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤之后，所述方法还包括：

将所述异步抓取的结果信息返回至所述主进程。

5.如权利要求4所述的方法，其特征在于，在所述将所述异步抓取的结果信息返回至所述主进程步骤之后，所述方法还包括：

当所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口；

当所述结果信息为图片抓取失败时，重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤。

6.如权利要求5所述的方法，其特征在于，在所述重复所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取的步骤之后，所述方法还包括：

统计所述通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取步骤的重复次数；

当所述重复次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。

7.一种图片抓取的系统，包括：

任务分发模块，用于按设定规则从任务队列中提取图片抓取任务，并将提取的得到的图片抓取任务分发至图片抓取服务器；

接收模块，用于接收图片抓取任务，启动图片抓取服务器中的图片抓取主进程；其中，所述图片抓取任务中包括待抓取图片的链接地址；

主进程模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、满足预置抓取条件的子进程；

子进程模块，用于通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取；

其中，所述主进程模块，包括:

监听模块，用于通过所述主进程监听所有子进程中的图片抓取任务数量；

分发模块，用于通过所述主进程将所述图片抓取任务分发至所述主进程下、图片抓取任务数量小于第一设定阈值的子进程；

所述任务分发模块包括：调整模块，用于根据所述图片抓取任务，调整与所述图片抓取任务相匹配的图片抓取服务器的数量；任务分发确定模块，用于按设定规则从所述任务队列中提取所述图片抓取任务，并从一个或多个所述图片抓取服务器中确定一个图片抓取服务器，将提取得到的图片抓取任务分发至所述确定的图片抓取服务器。

8.如权利要求7所述的系统，其特征在于，所述主进程模块，还包括：

建立模块，用于在所述主进程下的所有子进程中的图片抓取任务数量均大于或等于所述第一设定阈值时，通过所述主进程新建一个子进程，并将所述图片抓取任务分发至所述新建的子进程。

9.如权利要求7所述的系统，其特征在于，所述系统还包括：

图片数据接口模块，用于在所述接收模块接收图片抓取任务之前，持续接收图片抓取请求，根据所述图片抓取请求生成图片抓取任务；

任务队列模块，用于将所述图片抓取任务保存在任务队列中。

10.如权利要求7所述的系统，其特征在于，所述系统还包括：

信息返回模块，用于在所述子进程模块通过所述子进程根据所述待抓取图片的链接地址，进行所述待抓取图片的异步抓取之后，将所述异步抓取的结果信息返回至所述主进程模块。

11.如权利要求7所述的系统，其特征在于，所述系统还包括：

图片保存模块，用于在信息返回模块将所述异步抓取的结果信息返回至所述主进程之后，在所述结果信息为图片抓取成功时，保存抓取得到的图片，并将抓取成功结果返回至所述图片数据接口模块；

重复抓取模块，用于在所述结果信息为图片抓取失败时，重复执行所述子进程模块。

12.如权利要求11所述的系统，其特征在于，所述系统还包括：

统计模块，用于统计所述子进程模块的重复执行次数；

抓取结果返回模块，用于在所述重复执行次数满足第二设定阈值时，将抓取失败结果返回至所述图片数据接口。