CN101499096A - 分布式爬虫集群系统 - Google Patents

Abstract

本发明公开了一种分布式爬虫集群系统，包括以下部件：网页爬抓器，超链接锁存储器，网页锁存储器以及超链接给予器。通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架构；可以十分方便快捷地实现爬虫的集群系统；可以极大幅度地提高爬虫的爬抓速度。

Description

分布式爬虫集群系统

技术领域

本发明涉及网络数据采集系统，尤其涉及一种分布式爬虫集群系统。

背景技术

二十一世纪的到来，信息成爆炸式增长，人们被淹没在信息垃圾中，在这种情形下，人们为了快捷地抽出有用的信息从而提高工作、学习等效率，提出并实现了搜索引擎。作为搜索引擎的基础和搜索引擎处理的数据的唯一来源，爬虫系统的地位和重要性渐渐突显。但是当今信息更新太快，这就需要提高爬虫的爬抓速度来保持一定的搜索实时性，而现行爬虫系统的速度远远不能达到信息更新的需求。因此，提高爬虫系统的速度便成为当前一个搜索领域的焦点问题。目前，还没有一种系统的行之有效的高速爬虫系统。本发明通过实现分布式爬虫集群系统来解决这一难题。

在实现分布式集群系统的过程中，系统资源的占有矛盾问题成为实现分布式集群系统的瓶颈。本发明通过超链接锁存储器和网页锁存储器来突破该瓶颈进而解决这一难题。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种分布式的爬虫集群系统。

为达到上述目的，本发明提供一种分布式爬虫集群系统，其特征在于包括：

网页爬抓器，用于下载网页并且处理网页；

超链接锁存储器，用于解决资源占有矛盾并且存储超链接；

网页锁存储器，用于解决资源占有矛盾并且存储网页；

超链接给予器，用于将超链接给予网页爬抓器。

所述系统中，所述网页爬抓器包括：

网页下载器，用于下载网页；

超链接分离器，用于从网页中分离出超链接；

网页分离器，用于去除网页中冗余，净化网页以便处理。

本发明的有益效果在于，通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架构；可以十分方便快捷地实现爬虫的集群系统；可以极大幅度地提高爬虫的爬抓速度。

结合附图，本发明的其他特点和优点可以从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。

附图说明

图1是根据本发明的一个实施方式的系统的结构图。

图2示出图1中网页爬抓器内部结构的一个例子。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细描述。

图1是根据本发明的一个实施方式的系统的结构图。101表示网页爬抓器，102表示超链接锁存储器，103表示网页锁存储器，以及104表示超链接给予器。

网页爬抓器101，用于下载网页并且处理网页。各个网页爬抓器101相互之间独立。同一时刻，若只有一个网页爬抓器在爬抓网页，显然这样效率低下且不能达到实时性的要求。为了提高爬抓速度，利用多个网页爬抓器101同一时刻同时工作，这样就极大的提高了爬抓速度。网页爬抓器101的个数通常由硬件所能承受的能力和网络环境条件所决定。一个具体实施例在图2中所示。

超链接锁存储器102，用于解决资源占有矛盾并且存储超链接。一个超链接锁存储器102的具体实施例是通过关系型数据库，这样便于管理和控制。当有一个网页爬抓器101正在向数据库中存储所爬抓下来并分离出的超链接时，数据库标记为处于占有状态，在数据库管理中此时拒绝其他网页爬抓器101和超链接给予器104对数据库进行任何操作。当某个网页爬抓器101完成了向数据库存储超链接时，数据库标记为空闲状态，在数据库管理中此时允许任何网页爬抓器101和超链接给予器104对数据库进行操作。当超链接给予器104正在检测读取数据库中超链接时，数据库标记为处于占有状态，在数据库管理中此时拒绝所有网页爬抓器101对数据库进行任何操作。当超链接给予器104完成了对数据库的操作时，数据库标记为空闲状态，在数据库管理中此时允许任何网页爬抓器101和超链接给予器104对数据库进行操作。这样就保证了存储和检测都能够独立正常地进行，解决了资源占有的矛盾问题。以上是超链接锁存储器102的一个具体实施例，其他不同的实施例不构成对本发明的限制。

网页锁存储器103，用于解决资源占有矛盾并且存储网页。一个网页锁存储器103的具体实施例是通过关系型数据库，这样便于管理和控制。当有一个网页爬抓器101正在向数据库中存储所爬抓下来并分离出的网页时，数据库标记为处于占有状态，在数据库管理中此时拒绝其他网页爬抓器101对数据库进行操作。当某个网页爬抓器101完成了向数据库存储网页时，数据库标记为空闲状态，在数据库管理中此时允许任何网页爬抓器101对数据库进行操作。这样就保证了存储的正常进行，解决了资源占有的矛盾问题。以上是网页锁存储器103的一个具体实施例，其他不同的实施例不构成对本发明的限制。

超链接给予器104，用于将超链接给予网页爬抓器。一个超链接给予器104的具体实施例是检测超链接锁存储器102中是否还有未被处理的超链接，若还有未被处理的超链接，则读取此超链接，然后将超链接给予空闲的网页爬抓器101；若没有未被处理的超链接，则爬虫系统停止。以上是超链接给予器104的一个具体实施例，其他不同的实施例不构成对本发明的限制。

图2示出图1中网页爬抓器内部结构的一个例子。除了网页爬抓器101以外，图2中的各部件与图1中的各部件相同。

如图2所示，网页爬抓器101包括网页下载器1011、超链接分离器1012和网页分离器1013。

网页下载器1011，用于下载网页。一个网页下载器1011具体实施例是通过HTTP协议给服务器发送获取当前超链接所指定的网页实体的请求。以上是网页下载器1011的一个具体实施例，其他不同的实施例不构成对本发明的限制。

超链接分离器1012，用于从网页中分离出超链接。一个超链接分离器1012具体实施例是首先从网页下载器1011中获取已下载的网页，然后通过正则表达式技术匹配网页源代码中的超链接标记“href＝”，其后的部分即为网页的超链接，匹配分离即可，最后将此分离出的超链接存储到超链接锁存储器102中。当数据库标记为占有状态时等待直到数据库的标记为空闲状态；当数据库标记为空闲状态时直接存储到数据库中。以上是超链接分离器1012的一个具体实施例，其他不同的实施例不构成对本发明的限制。

网页分离器1013，用于去除网页中冗余，净化网页以便处理。一个网页分离器1013具体实施例是首先从网页下载器1011中获取已下载的网页，然后通过正则表达式技术匹配网页源代码中的所有冗余标记如：<script>、</script>、<form>、</form>等等，匹配去除即可，最后将此被净化的网页存储到网页锁存储器103中。当数据库标记为占有状态时等待直到数据库的标记为空闲状态；当数据库标记为空闲状态时直接存储到数据库中。以上是网页分离器1013的一个具体实施例，其他不同的实施例不构成对本发明的限制。

以上结合附图描述了本发明的具体实施方式，各种举例说明不对发明的实质内容构成限制，本发明不限于上面提供的实施细节，可以在不脱离本发明特征的情况下以另外的实施例实现。所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (2)

1.一种分布式爬虫集群系统，其特征在于包括：

网页爬抓器，用于下载网页并且处理网页；

超链接锁存储器，用于解决资源占有矛盾并且存储超链接；

网页锁存储器，用于解决资源占有矛盾并且存储网页；

超链接给予器，用于将超链接给予网页爬抓器。

2.根据权利要求1所述的分布式爬虫集群系统，其特征在于，所述网页爬抓器包括：

网页下载器，用于下载网页；

超链接分离器，用于从网页中分离出超链接；

网页分离器，用于去除网页中冗余，净化网页以便处理。

Images