CN106503017A - 一种分布式爬虫系统任务抓取系统和方法 - Google Patents

Abstract

本发明包括爬虫控制端、爬虫抓取端、任务监控模块，爬虫抓取端获取相应的任务，将任务数据传送给爬虫控制端；爬虫控制端定义任务编号和任务超时时间，并产生任务分发事件，存储任务分发的时间戳数据；将任务分发给任务监控模块和爬虫抓取端，爬虫抓取端对抓取任务执行相应的抓取逻辑，将任务完成信息传送给爬虫控制端，若发生异常情况，导致抓取任务无法正确的被执行时，可以通过任务监控模块重新将任务推送给爬虫控制端，避免了由于网络原因、任务无法执行的情况。

Description

一种分布式爬虫系统任务抓取系统和方法

技术领域

本发明涉及互联网领域，尤其涉及一种分布式爬虫系统任务抓取系统和方法。

背景技术

随着互联网技术的发展，WEB网站的数量成几何级的方式增长，搜索引擎抓取网站的方式逐渐由单节点向多向点，直到分布式的方式抓取网站，以便更快速的抓取WEB网站，丰富搜索引擎的索引数据，提供更好的用户体验。在分布式爬虫系统中，由于存在多个抓取节点，因此需要中心控制节点将任务分发到相应的抓取节点之上，在这个过程中，由于网络的问题，抓取节点运行中的异常情况，将有可能导致抓取任务无法正确的被执行，本发明针对抓取任务的分发与执行提出一种高可靠的解决方案。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种分布式爬虫系统任务抓取系统和方法。

本发明的目的是通过以下技术方案实现的：

本发明的第一个目的是提供一种分布式爬虫系统任务抓取系统，包括：

爬虫控制端，用于爬虫任务的创建、分发及抓取结果的存储。

爬虫抓取端，用于获取相应的任务，请求目标网站，获取网页数据并对任务进行相应的解析，将结果提交到爬虫控制端。

任务监控模块，用于设定任务抓取时间，监控并记录任务抓取进程，在未收到任务完成的反馈时，将任务重新推送给爬虫控制端。

上述的一种分布式爬虫系统任务抓取系统，其中，所述爬虫控制端包括储存数据库，采用Redis存储任务创建数据、抓取队列数据；采用MySql存储任务抓取结果。

上述的一种分布式爬虫系统任务抓取系统，其中，所述任务监控模块包括数据存储装置，用于存储抓取任务数据。

本发明的第二个目的是提供一种分布式爬虫系统任务抓取方法，采用上述一种分布式爬虫系统任务抓取系统实现，至少包括以下步骤：

（1）爬虫抓取端获取相应的任务，将任务数据传送给爬虫控制端。

（2）爬虫控制端定义任务编号和任务超时时间，并产生任务分发事件，存储任务分发的时间戳数据。

（3）将任务分发给任务监控模块和爬虫抓取端，任务监控模块存储任务编号、任务超时时间和任务分发的时间戳数据，并将当前任务标记为抓取中。

（4）爬虫抓取端对抓取任务执行相应的抓取逻辑，完成对数据的抓取操作，将任务完成信息传送给爬虫控制端，爬虫控制端存储任务抓取结果数据，并产生任务成功抓取事件，并将任务完成信息传送给任务监控模块，任务监控模块删除相应的任务数据；或者

（5）爬虫抓取端未完成对数据的抓取操作，任务监控模块未收到任务完成信息，任务监控线程对抓取的任务数据进行相应的遍历操作，将任务分发的时间戳数据和系统当前的时间戳对比，对于超过指定时间未回馈的任务，将任务重新推入爬虫控制端的抓取队列，返回步骤（2），直到完成相应的数据抓取。

综上所述，由于采用了上述技术方案，本发明任务在分发之后，若发生异常情况，导致抓取任务无法正确的被执行时，可以通过任务监控模块重新将任务推送给爬虫控制端，避免了由于网络原因，任务无法执行的情况。

附图说明

图1是本发明的一种分布式爬虫系统任务抓取系统和方法的原理图；

图2是本发明的一种分布式爬虫系统任务抓取系统和方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作详细介绍。

实施例1

请参见图1、图2，本发明提供的一种分布式爬虫系统任务抓取系统，包括：

爬虫控制端，用于爬虫任务的创建、分发及抓取结果的存储。

爬虫抓取端，用于获取相应的任务，请求目标网站，获取网页数据并对任务进行相应的解析，将结果提交到爬虫控制端。

任务监控模块，用于设定任务抓取时间，监控并记录任务抓取进程，在未收到任务完成的反馈时，将任务重新推送给爬虫控制端。

爬虫控制端包括储存数据库，采用Redis存储任务创建数据、抓取队列数据；采用MySql存储任务抓取结果。

任务监控模块包括数据存储装置，采用Redis存储抓取任务数据。

爬虫抓取端通过Thrift的方式和爬虫控制端进行相应的连接，调用相应的接口，爬虫控制端从Redis队列中提取任务数据，并完成相应的序列化操作，反馈给抓取端。同时在控制端内部抛出任务分发的事件，任务监控模块对任务对进行处理，将数据存入Redis的HashSet中，其中key为任务编号，value为任务分发的时间戳。

抓取任务在分发到抓取端之后，爬虫抓取端执行相应的抓取逻辑，完成对数据的抓取操作。将结果提交到爬虫控制端，爬虫控制端收到任务完成的消息后，进行数据存储、Cache清理等操作，并在内部产生任务完成的事件。任务监控模块对任务完成的事件进行处理，并对当前抓取任务数据进行操作，删除相应的任务数据。

实施例2

爬虫抓取端获取相应的任务，将任务数据传送给爬虫控制端。

爬虫控制端定义任务编号和任务超时时间，并产生任务分发事件，存储任务分发的时间戳数据。

将任务分发给任务监控模块和爬虫抓取端，任务监控模块存储任务编号、任务超时时间和任务分发的时间戳数据，并将当前任务标记为抓取中。

任务在分发之后，发生以下情况：（1）网络原因，任务未传送到爬虫抓取端；（2）爬虫抓取端在抓取的过程中发生错误，宕机；（3）在完成抓取任务后，由于网络原因等情况，数据未正确提交到爬虫控制端。

爬虫控制端未收到爬虫抓取端提交的任务完成信息，这样就无法删除在抓取任务数组中对应的相关任务的数据。任务监控线程对抓取的任务Hashset进行相应的遍历操作，取出时间戳数据和系统当前的时间戳对比，对于超过指定时间未回馈的任务，将任务重新推入Redis抓取队列，进行下一次任务分发，直到完成相应的数据抓取。

以上所述的实施例仅用于说明本专利的技术思想及特点，其目的在于使本领域内的技术人员能够了解本专利的内容并据以实施，不能仅以本实施例来限定本专利的专利范围，即凡依本专利所揭示的精神所作的同等变化或修饰，仍落在本专利的专利范围内。

Claims (4)

1. 一种分布式爬虫系统任务抓取系统，其特征在于，包括：

爬虫控制端，用于爬虫任务的创建、分发及抓取结果的存储；

爬虫抓取端，用于获取相应的任务，请求目标网站，获取网页数据并对任务进行相应的解析，将结果提交到爬虫控制端；

任务监控模块，用于设定任务抓取时间，监控并记录任务抓取进程，在未收到任务完成的反馈时，将任务重新推送给爬虫控制端。

2. 根据权利要求1所述的一种分布式爬虫系统任务抓取系统，其特征在于，所述爬虫控制端包括储存数据库，采用Redis存储任务创建数据、抓取队列数据；采用MySql存储任务抓取结果。

3. 根据权利要求1所述的一种分布式爬虫系统任务抓取系统，其特征在于，所述任务监控模块包括数据存储装置，用于存储抓取任务数据。

4. 一种分布式爬虫系统任务抓取方法，其特征在于，采用权利要求1所述一种分布式爬虫系统任务抓取系统实现，至少包括以下步骤：

（1）爬虫抓取端获取相应的任务，将任务数据传送给爬虫控制端；

（2）爬虫控制端定义任务编号和任务超时时间，并产生任务分发事件，存储任务分发的时间戳数据；

（3）将任务分发给任务监控模块和爬虫抓取端，任务监控模块存储任务编号、任务超时时间和任务分发的时间戳数据，并将当前任务标记为抓取中；

（4）爬虫抓取端对抓取任务执行相应的抓取逻辑，完成对数据的抓取操作，将任务完成信息传送给爬虫控制端，爬虫控制端存储任务抓取结果数据，并产生任务成功抓取事件，并将任务完成信息传送给任务监控模块，任务监控模块删除相应的任务数据；或者

（5）爬虫抓取端未完成对数据的抓取操作，任务监控模块未收到任务完成信息，任务监控线程对抓取的任务数据进行相应的遍历操作，将任务分发的时间戳数据和系统当前的时间戳对比，对于超过指定时间未回馈的任务，将任务重新推入爬虫控制端的抓取队列，返回步骤（2），直到完成相应的数据抓取。