CN111611463A - 一种基于Scrapy-Redis的分布式网络爬虫优化方法 - Google Patents

Abstract

本发明涉及一种基于Scrapy‑Redis的分布式网络爬虫优化方法，包括以下方面：(1)去重过程优化：使用布隆过滤器代替指纹去重机制，在优化后的去重过程中，元素集合使用位数组形式表示；(2)空闲监测机制：设置一个空闲时间阈值作为分界条件，在接收到某节点的空闲信号之后，若监听到空闲时间小于等于空闲时间阈值，则节点继续工作；若监听到空闲时间大于空闲时间阈值，则可以判定为该节点暂无待爬取任务，即可结束此节点进程；(3)动态请求配置。

Description

一种基于Scrapy-Redis的分布式网络爬虫优化方法

技术领域

本发明涉及一种分布式网络爬虫优化方法。

背景技术

随着计算机技术的蓬勃发展，网络信息数据量呈指数增长，如何高效获取数据成为新的挑战。网络爬虫技术作为一种常见的数据抓取策略，一直被广泛应用于互联网领域中，通过自动化形式的动态抓取，大大节省了用户获取数据的时间。如各类搜索引擎、各类信息统计发布站点等，都以网络爬虫技术为核心进行功能的开发和拓展。

近年来，为了有效应对网络中更灵活的数据源和更庞大的数据量，国内外众多学者为爬虫技术做出了突出贡献。一方面是探索更为简洁实用的通用型爬虫框架，如Scrapy框架通过引擎、调度器、下载器、爬虫、管道以及中间件六大组件的交互使用，大大提高了爬虫的灵活性，同时简化了繁琐的冗余代码编写。另一方面是研究大数据爬取时的性能问题，如使用Redis内存型数据库提高爬虫运行效率以及使用分布式方案进行多节点同步抓取数据等。

发明内容

本发明基于Scrapy-Redis提出了一种分布式爬虫优化方法。在使用Scrapy框架并引入Redis的前提下，为了有效降低内存占用率，在原有指纹去重机制的基础上，提出了一种更高效的去重策略，为了有效减少资源损耗并对爬虫过程进行实时监测，提出了一种空闲监测机制，为了有效防止在进行大量数据爬取时被目的服务器屏蔽，提出了一种动态请求配置方案。技术方案如下：

一种基于Scrapy-Redis的分布式网络爬虫优化方法，包括以下方面：

(1)去重过程优化

使用布隆过滤器代替指纹去重机制，在优化后的去重过程中，元素集合使用位数组形式表示。当一个元素被加入集合时，通过K个散列函数将此元素映射成一个位数组中的K个点，并将所有点置为1；在进行判别检索时，若所有点的值均为1，则被检元素大概率出现在集合中；若所有点中存在0，则被检元素一定不在集合中。

(2)空闲监测机制

采用空闲监测机制，空闲监测机制使用Scrapy中的spider_idle信号来监测爬虫的空闲状态，当爬虫进入空闲状态时，该信号被发送；爬虫空闲时的三种情形：一是Request请求正在等待被下载；二是Request请求正在被调度；三是数据正在管道中被处理，为此三类情形设置一个空闲时间阈值作为分界条件，在接收到某节点的空闲信号之后，若监听到空闲时间小于等于空闲时间阈值，则节点继续工作；若监听到空闲时间大于空闲时间阈值，则可以判定为该节点暂无待爬取任务，即可结束此节点进程。

(3)动态请求配置

当客户端频繁向目的服务器发送请求时，可能被服务器辨认为恶意程序进而限定客户端行为，通过配置动态请求解决此问题：

一是进行动态IP的配置：维护一个可长期运行的IP池以供使用，并在每次发起请求时保证IP的随机性，为应对请求失败的情形，根据应用场景，配置接收到何种响应时尝试再次请求，并配置尝试请求次数达到何值时视为爬虫失败；同时，保证动态IP与Scrapy中下载中间件的关联性。

二是进行动态请求头的配置：按真实请求头规范编写一个请求头集合，用来模拟各类浏览器发起请求的过程，禁用Scrapy下载中间件中的请求头设置。

本发明的有益效果如下：

1.本发明对原去重方案进行了优化，在Redis中使用布隆过滤器对网络请求进行过滤，利用布隆过滤器的位数组运算特性，大大提高了空间利用率，虽然存在一定的误判率，但整体性能提升明显。

2.本发明设计并提出的空闲监测机制在分布式爬虫节点增多时，能主动判断节点状态，及时对无待爬取任务的节点进行关闭，有效降低资源占用率。

3.本发明配置的动态请求在短时间重复请求同一服务器时，可自动切换请求IP和请求头，提高数据爬取的成功率，保证爬虫长时间稳定运行。

附图说明

图1引入空闲监测机制的总体爬虫流程

图2优化去重过程以及配置动态请求后的单节点爬虫架构

具体实施方式

本发明通过优化去重过程、引入空闲监测机制以及配置动态请求三大策略提高了爬虫的整体性能，引入空闲监测机制后的总体爬虫流程如图1所示，优化去重过程以及配置动态请求后的单节点爬虫架构如图2所示，以下是具体实现过程。

1.去重过程优化

Scrapy-Redis提供了指纹去重机制。为了提高去重速度，整个去重过程在Redis中使用set数据结构进行，当数据量庞大时，会占用大量内存，造成设备不正常运转或效率低下。针对上述问题，本发明使用布隆过滤器代替指纹去重机制。

在优化后的去重过程中，元素集合使用位数组形式表示。当一个元素被加入集合时，通过K个散列函数将此元素映射成一个位数组中的K个点，并将所有点置为1。在进行判别检索时，若所有点的值均为1，则被检元素大概率出现在集合中；若所有点中存在0，则被检元素一定不在集合中。

2.空闲监测机制

在使用分布式架构进行爬虫时，有可能出现某爬虫节点无待爬取信息但仍不停止工作从而造成资源浪费的情况。为解决此问题，本发明提出了空闲监测机制。

空闲监测机制使用Scrapy中的spider_idle信号来监测爬虫的空闲状态，当爬虫进入空闲状态时，该信号被发送。爬虫空闲时一般有三种情形：一是Request请求正在等待被下载；二是Request请求正在被调度；三是数据正在管道中被处理。上述三类情形的空闲等待时间均较短，因此需要人为设置一个空闲时间阈值作为分界条件，在接收到某节点的空闲信号之后，若监听到空闲时间小于上述阈值，则节点继续工作；若监听到空闲时间大于上述阈值，则可以判定为该节点暂无待爬取任务，即可结束此节点进程。

3.动态请求配置

当客户端频繁向目的服务器发送请求时，可能被服务器辨认为恶意程序进而限定客户端行为，本发明通过配置动态请求解决此问题。

一是进行动态IP的配置。维护一个可长期运行的IP池以供使用，并在每次发起请求时保证IP的随机性。在进行具体请求细节设定时，为了应对请求失败的情形，配置接收到何种响应时尝试再次请求，并配置尝试请求次数达到何值时视为爬虫失败。同时，保证动态IP与Scrapy中下载中间件的关联性。

二是进行动态请求头的配置。按真实请求头规范编写一个请求头集合，用来模拟各类浏览器发起请求的过程，禁用Scrapy下载中间件中的请求头设置，并引入新配置的动态请求头集合。

本发明适用于大数据分布式爬取场景，尤其在设备内存空间不够充足的情况下，提出的去重过程能有效降低内存占用率，空闲监测机制能有效保障设备的正常运行。在应对对于爬虫行为较敏感的网站时，提出的动态请求配置方案能有效保障数据的正常获取。

Claims (1)

1.一种基于Scrapy-Redis的分布式网络爬虫优化方法，包括以下方面：

(1)去重过程优化

使用布隆过滤器代替指纹去重机制，在优化后的去重过程中，元素集合使用位数组形式表示；当一个元素被加入集合时，通过K个散列函数将此元素映射成一个位数组中的K个点，并将所有点置为1；在进行判别检索时，若所有点的值均为1，则被检元素大概率出现在集合中；若所有点中存在0，则被检元素一定不在集合中。

(2)空闲监测机制

采用空闲监测机制，空闲监测机制使用Scrapy中的spider_idle信号来监测爬虫的空闲状态，当爬虫进入空闲状态时，该信号被发送；爬虫空闲时的三种情形：一是Request请求正在等待被下载；二是Request请求正在被调度；三是数据正在管道中被处理，为此三类情形设置一个空闲时间阈值作为分界条件，在接收到某节点的空闲信号之后，若监听到空闲时间小于等于空闲时间阈值，则节点继续工作；若监听到空闲时间大于空闲时间阈值，则可以判定为该节点暂无待爬取任务，即可结束此节点进程；

(3)动态请求配置

当客户端频繁向目的服务器发送请求时，可能被服务器辨认为恶意程序进而限定客户端行为，通过配置动态请求解决此问题：

一是进行动态IP的配置：维护一个可长期运行的IP池以供使用，并在每次发起请求时保证IP的随机性，为应对请求失败的情形，根据应用场景，配置接收到何种响应时尝试再次请求，并配置尝试请求次数达到何值时视为爬虫失败；同时，保证动态IP与Scrapy中下载中间件的关联性；

二是进行动态请求头的配置：按真实请求头规范编写一个请求头集合，用来模拟各类浏览器发起请求的过程，禁用Scrapy下载中间件中的请求头设置。

Images