CN103997524A - 高可用、高可扩展、分布式的模块化网络爬虫 - Google Patents

Abstract

本发明公开了一种高可用、高可扩展、分布式的模块化网络爬虫，提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，所述资源模块包括控制模块、网页存储模块和通信模块；该新型网络爬虫体系结构以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系具有可扩展性和高可用性，很适合用于海量数据的抓取工作，适合用于云计算中心。

Description

高可用、高可扩展、分布式的模块化网络爬虫

 

技术领域

 本发明涉及计算机通信领域，具体地说是一种高可用、高可扩展、分布式的模块化网络爬虫。

背景技术

随着大数据的发展，大数据处理技术已经比较成熟。大数据的关键因素在于如何获得大量的数据。从网络上抓起海量的数据成为获取数据的一个较为便捷的方法。爬虫技术虽然经过多年的发展，但是目前大多数的爬虫扩展性、性能、功能扩展性等各方面都不能满足获取海量数据的要求，并且在分解复杂的网页结构时灵活性不足。因此，设计一款具有可扩展性、高可用、分布式的网络爬虫就很有必要了。

发明内容

针对现有技术存在的不足之处，本发明提出了一种高可用、高可扩展、分布式的模块化网络爬虫。

本发明所述一种高可用、高可扩展、分布式的模块化网络爬虫，解决上述技术问题采用的技术方案如下：该模块化网络爬虫提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：

所述资源模块主要包括控制模块、网页存储模块和通信模块；控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；

所述网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；

所述网页分解模块负责网页的分解、去除广告信息、去除噪声等；

所述事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型，事件驱动编程模型在网络方面比多线程模型要优秀；

该新型网络爬虫体系结构，是以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系发挥最大的效能，并具有可扩展性和高可用性；该新型网络爬虫体系结构中，网页下载模块、网页分解模块、事件驱动模块和网页存储模块之间的低耦合性，因此可以自定义各个模块的功能以适应网络上结构复杂的网页；并且，单一的控制模块使得整个系统可以很大规模的扩展，即使若干个爬行节点停止工作，整个系统不会丢失全局信息，其他爬行节点可以继续工作，从而提高了系统的可扩展性和高可用性。

 本发明所述高可用、高可扩展、分布式的模块化网络爬虫具有的有益效果：

该新型网络爬虫体系架构基于模块化的灵活扩展的特性，各个模块可以灵活的自定义爬行行为、下载方式、分解方式和存储方式，可以进行灵活的跨节点配置，包括从系统中添加节点或删除节点等操作；同时在修改某一模块时，基本不用或很少对其他模块进行复杂的配置工作，从而减少系统管理的复杂程度；

该高可用、高可扩展、分布式的模块化网络爬虫可以大规模并行工作，并且其配置简单，自定义灵活，从而提高了系统的可扩展性和高可用性，很适合用于海量数据的抓取工作，适合用于云计算中心。

附图说明

附图1为基于控制模块为中心的新型网络爬虫体系结构示意图。

具体实施方式

参照说明书附图和具体实施例，对本发明的高可用、高可扩展、分布式的模块化网络爬虫作以下详细地说明。

本方明所述高可用、高可扩展、分布式的模块化网络爬虫,提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：

资源模块主要包括控制模块、网页存储模块和通信模块；所述控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；

网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；

网页分解模块负责网页的分解、去除广告信息、去除噪声等；

事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型，事件驱动编程模型在网络方面比多线程模型要优秀；

所述新型网络爬虫体系结构，是以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系发挥最大的效能，并具有可扩展性和高可用性；该新型网络爬虫体系结构中，网页下载模块、网页分解模块、事件驱动模块和网页存储模块之间的低耦合性，因此可以自定义各个模块的功能以适应网络上结构复杂的网页；并且，单一的控制模块使得整个系统可以很大规模的扩展，即使若干个爬行节点停止工作，整个系统不会丢失全局信息，其他爬行节点可以继续工作，从而提高了系统的可扩展性和高可用性。

附图1为基于控制模块为中心的新型网络爬虫体系结构示意图，如附图1所示，本发明提出的新型网络爬虫体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块；在这一体系结构中，所述资源模块主要包括控制模块、网页存储模块和通信模块。控制模块存储各个爬行节点的状态信息、全局爬行信息和各个爬行节点的任务，这些信息的数据结构比较简单，但是速度要求较高，可以采用目前比较流行的Key-value数据，比如Redis、Hbase等；通讯模块对性能要求不高，可以采用通用的网络交换设备，如以太网交换机、路由器、集线器等网络设备；网页存储模块也可以采用通用的数据库或者NoSQL，如MySQL、MongoDB等。

该新型网络爬虫体系结构基于模块化的灵活扩展的特性，各个模块可以灵活的自定义爬行行为、下载方式、分解方式和存储方式，可以进行灵活的跨节点配置，包括从系统中添加节点或删除节点等操作；这种灵活性还体现在修改某一模块时，基本不用或很少对其他模块进行复杂的配置工作，从而减少系统管理的复杂程度。该高可用、高可扩展、分布式的模块化网络爬虫可以大规模并行工作，并且其配置简单，自定义灵活，因此，很适合用于海量数据的抓取工作，适合用于云计算中心。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.高可用、高可扩展、分布式的模块化网络爬虫，其特征在于, 该模块化网络爬虫提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：

所述资源模块主要包括控制模块、网页存储模块和通信模块；控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；

所述网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；

所述网页分解模块负责网页的分解、去除广告信息、去除噪声；

所述事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型；

该新型网络爬虫体系结构是以控制模块为核心，采用事件驱动编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系具有可扩展性和高可用性。

2. 根据权利要求1所述的高可用、高可扩展、分布式的模块化网络爬虫，其特征在于，该新型网络爬虫体系结构中，所述网页下载模块、网页分解模块、事件驱动模块和网页存储模块之间的耦合性低，能够自定义各个模块的功能以适应网络上结构复杂的网页。

3. 根据权利要求2所述的高可用、高可扩展、分布式的模块化网络爬虫，其特征在于，该新型网络爬虫体系结构基于模块化的灵活扩展的特性，各个模块能够灵活的自定义爬行行为、下载方式、分解方式和存储方式，能够进行灵活的跨节点配置；并且在修改某一模块时，基本不用或很少对其他模块进行复杂的配置工作。

4.根据权利要求1所述的高可用、高可扩展、分布式的模块化网络爬虫，其特征在于，所述控制模块存储各个爬行节点的状态信息、全局爬行信息和各个爬行节点的任务，这些信息的数据结构采用Key-value数据。

5.根据权利要求1所述的高可用、高可扩展、分布式的模块化网络爬虫，其特征在于，所述通讯模块对性能要求不高，采用通用的网络交换设备以太网交换机、路由器、集线器网络设备。

6. 根据权利要求1所述的高可用、高可扩展、分布式的模块化网络爬虫，其特征在于，所述网络存储模块采用通用的数据库或者NoSQL。