CN105827619B - 高访问情况下的爬虫封禁方法 - Google Patents

Abstract

本发明提供一种高访问情况下的爬虫封禁方法，用于在高访问量情况下快速的判断一个访问者是否在访问黑名单中并且实施封禁，并且有效地维护名单库的正确性。本发明涉及以下步骤：提取请求的ip或者id信息；名单库预先导入到内存中，在高访问量的情况下只有通过内存查找才能满足低响应时间的要求，通过在内存的名单库中查找判断id是否在黑名单中；对于是黑名单的拒绝访问；考虑到名单库会不断变动，而且在访问量太大的时候应用会部署到不同服务器中，对于怎样保证不同服务器中名单库的一致性，增加了服务模块定时进行名单一致性维护。本发明结合了共享内存使用名单库和增加服务附件模块的方法，减少了爬取判定的响应时间。

Description

高访问情况下的爬虫封禁方法

技术领域

本发明涉及互联网领域，具体涉及服务器端高并发压力下实现对爬虫封禁，并不影响用户的使用体验的解决策略。

背景技术

随着网络技术的发展和网络数据、网络用户的急速增加，网络服务器所承担的压力也越来越大。随着网络信息的增加，用于获取、收集信息的网络爬虫也随着急剧增多。网络爬虫极大地提高了信息获取的速度，这一方面给人们到来了极大的方便。包括现在的搜索引擎google、baidu为人们提供了功能强大的信息搜索，人们可以方便快速的获取想要的信息。这些都是建立在网络爬虫对互联网信息收集的基础上，在这一方面网络爬虫发挥了极重要的作用。

但是爬虫的大量增加也有一些不利的影响。存在一些设计不合理的爬虫对网站的爬取强度特别大，对服务器造成了巨大的负担，会影响到正常用户的使用体验。此外恶意爬虫还会造成数据泄露，一些公司不希望具有竞争关系的对手公司爬取自己的数据，如果数据被轻易的爬取公司是没有竞争力的。基于以上的原因对爬虫进行适当的封禁是非常必要的。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种高访问情况下的爬虫封禁方法，实现有效的封禁爬虫，降低封禁爬虫时对系统响应的影响。封禁爬虫对于降低服务器压力和保护数据具有极大的价值。但是爬虫的封禁不应该占用太多服务器时间，否则在降低服务器压力方面就得不偿失了。本发明通过在内存中维护名单库，并通过共享内存实现在不同进程之间共享，降低了判断爬虫的时间。同时添加服务模块实现不同服务器中名单库的一致性维护，并使名单操作更灵活。本发明采用的技术方案是：

一种高访问情况下的爬虫封禁方法，包括：

在服务器上建立和维护名单库，将所有要封禁的爬虫加入到名单库的黑名单中，对正规爬虫和服务器内部使用的爬虫加入到名单库的白名单中；

将名单库中的名单存储在内存中并建立hash表索引；

将建立好hash索引的名单库映射到同一服务器不同进程的地址空间中；

当一个请求到达服务器时，提取请求中的用户id或者IP地址，一个进程查询内存中名单库中名单（包括黑名单和白名单），当用户id或IP地址在名单库的黑名单中时，拒绝访问或延迟返回数据或返回劣质数据。

进一步地，同一台服务器中，不同进程之间使用共享内存来维护多个进程之间名单库的一致性；一个进程在查询名单时首先对名单库上读锁，以防止该进程在查询名单时，其它进程对名单库进行增加、删除、修改操作。

进一步地，为了维护多台服务器中名单库的一致性，单独设立一个服务模块，所有服务器对名单库进行更新操作时，操作不直接发送给服务器上的名单库，而是发送到服务模块，通过服务模块转发该操作到服务模块中注册的所有服务器中；

服务模块还定时对所有注册至服务模块的服务器中的名单进行定时的全量更新。

更进一步地，

服务模块包括名单请求处理逻辑模块，名单库本地数据库备份；服务模块具体进行下述操作：

1）当名单操作请求到达名单请求处理逻辑模块时，名单请求处理逻辑模块判断请求类型；

2）如果是删除名单条目的请求，首先到名单库本地数据库中查看该名单条目是否存在；如果存在则删除名单库本地数据库中本条名单条目，同时根据名单请求处理逻辑模块中记录的远程服务器列表给全部远程服务器发送删除该条名单条目的请求；如果不在名单库本地数据库中，不做任何操作；

3）如果是添加名单条目的请求，同样首先到名单库本地数据库中查看该名单条目是否存在；如果不存在则在名单库本地数据库中添加该条名单条目，同时根据名单请求处理逻辑模块中记录的远程服务器列表给全部远程服务器发送添加该名单条目的请求；如果存在不做任何操作。

更进一步地，

所述服务模块还定时对所有注册至服务模块的服务器中的名单进行定时的全量更新，具体包括：

定期地，

1)服务模块读取远程服务器中的全部名单库到本地；

2)遍历读取到名单库中所有的名单条目，对于每一个名单条目查看本地数据库，如果不在本地数据库中向远程服务器发送删除该名单条目的请求；

3)遍历本地数据库的所有名单条目，对于每一个名单条目查看是否在远程服务器上名单库中，如果不存在向远程服务器发送添加该名单条目的请求。

本发明的优点在于：本发明通过在内存中设置名单库，并通过共享内存实现进程间名单库共享，实现了名单的快速查询。在封禁策略必不可少的情况下有效地实现了封禁并且占用服务器响应时间极少。通过设置服务模块将应该是服务器中处理的逻辑分离出来，处理上更灵活并且有效的解决了多台服务器部署中各台服务器名单库一致性的问题。

附图说明

图1为本发明的总体结构框图。

图2为本发明远程服务器的执行流程。

图3为本发明服务模块的结构框图。

图4为本发明服务模块的执行流程图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

为了封禁爬虫必须建立名单库，将所有要封禁的爬虫加入到名单库的黑名单中，对某些正规爬虫如百度、google或者公司内部使用的爬虫加入到名单库的白名单中；

为了快速查询请求的用户id（账号）或IP地址是否在名单中，采用了将名单库中名单存储在内存中并建立hash（哈希）表索引。一般情况下将名单存储到数据库中，但是当访问量特别大的时候数据库的查询会严重拖累服务器的响应时间。对于数据查询最快的就是将数据存储到内存中。不过对于存储到内存中有一点需要解决的是同一服务器中不同进程之间维护名单一致性的问题，本策略使用了在不同进程之间共享内存的方案，将建立好hash索引的名单库映射到不同进程中的地址空间中，解决了不同进程之间名单库共享并减少了数据拷贝的开销。

当并发访问量高的时候，维持快速的响应对于用户体验尤为重要。爬虫封禁策略必须尽量小的降低对响应时间的影响，所以对爬虫库的检索必须要快。本策略将名单库常驻内存，将名单库用hash表的形式存储到内存中，实现快速查询。

对于查询结果在黑名单中的访问可以直接拒绝访问，也可以延迟本请求响应时间或者返回劣质的数据以延迟爬取者发现被封禁的时间。

对于不同服务器中名单库一致性的维护问题，单独建立一个服务模块。所有名单库的更新操作都发送到服务模块，通过服务模块转发到服务模块中注册的不同服务器中。这样处理的好处是对名单的处理更加灵活同时服务模块分担了服务器中进程的压力。理论上通过服务器模块对不同服务器中的名单库更新会使名单库保持一致，但是考虑网络传输等因素的影响不同名单库中还是会存在稍微不一致的情况。服务模块另一个作用就在本地做一个名单库副本，定期用副本全量同步远程不同服务器中的名单库。

如图1所示，具体实施分为两大部分，远程服务器和本地服务模块；当并发请求很高的时候，应用需要布置到多台服务器上，并且一台服务器上需要多个进程处理，所以本发明要考虑多台服务器和同一服务器不同进程之间的名单库一致性；

（一），远程服务器部分；远程服务器上包括信息抽取模块(Access Module)、查询模块(Search Module)、封禁模块、名单存储模块(List Storage)；如图2所示，

1）当一个请求到达服务器之后，首先进入信息抽取模块，由信息抽取模块负责提取用户id信息，本封禁策略对于登陆用户使用用户的登陆id账号，对于非登陆用户使用用户的IP地址代替；

2）提取出用户id或IP地址后，交给 查询模块判断该用户id或IP地址是不是应该封禁，首先查询服务器内存中的白名单，如果在白名单中跳过封禁模块允许正常访问；如果在黑名单中拒绝访问；如果不在名单中任然放行，但是会有进一步的识别判断是不是爬虫；

3），名单存储模块(List Storage)用于名单的增加、删除和修改操作；对于名单查询，List Storage是存储在内存中的，对于爬虫名单数量一般不会大于100万量级，用hash表存储需要的内存大小小于100M。 因为是采用共享内存的方式，在进程查询名单的时候首先要对名单库上读锁，以防止该进程在查询名单时，其它进程对名单库进行增加、删除、修改操作。

对于维护多台服务器中的名单库的一致性，采用了一个附件模块：服务模块。对名单库进行操作（包括增删）不直接发送给名单库，而是发送到服务模块，由服务模块转发该操作到服务模块中注册的所有服务器中。由于网络上的原因或者服务器端的错误操作每台服务器中的名单库还是会存在差异，服务模块要定时对所有服务器中的名单进行定时的全量更新。服务模块主要为了分担服务器端的压力，提高灵活性，通过对名单库的备份提高安全性。

服务模块的作用是维护不同远程服务器中名单库的一致性，对名单库进行备份当远程名单库损坏的时候用于恢复，并且分担远程服务器的部分压力，提供更灵活的名单操作。

在服务模块中包含两部分：名单请求处理逻辑模块（Service模块），名单库本地数据库备份List DB，如图3所示；

具体过程如下，如图4所示，服务模块具体进行下述操作：

1）当名单操作请求到达Service模块时，Service模块判断请求类型；

2）如果是删除名单条目的请求，首先到名单库本地数据库中查看该名单条目是否存在；如果存在则删除名单库本地数据库中本条名单条目，同时根据Service模块中记录的远程服务器列表给全部远程服务器发送删除该条名单条目的请求；如果不在名单库本地数据库中，不做任何操作；

3）如果是添加名单条目的请求，同样首先到名单库本地数据库中查看该名单条目是否存在；如果不存在则在名单库本地数据库中添加该条名单条目，同时根据Service模块中记录的远程服务器列表给全部远程服务器发送添加该名单条目的请求；如果存在不做任何操作。

服务模块需要定时检查远程服务器上名单库与名单库本地数据库的一致性，对于每台服务器执行以下操作：

1)服务模块读取远程服务器中的全部名单库到本地；

2)遍历读取到名单库中所有的名单条目，对于每一个名单条目查看本地数据库，如果不在本地数据库中向远程服务器发送删除该名单条目的请求；

3)遍历本地数据库的所有名单条目，对于每一个名单条目查看是否在远程服务器上名单库中，如果不存在向远程服务器发送添加该名单条目的请求。

Claims (3)

1.一种高访问情况下的爬虫封禁方法，其特征在于，包括：

在服务器上建立和维护名单库，将所有要封禁的爬虫加入到名单库的黑名单中，对正规爬虫和服务器内部使用的爬虫加入到名单库的白名单中；

将名单库中的名单存储在内存中并建立hash表索引；

将建立好hash索引的名单库映射到同一服务器不同进程的地址空间中；

当一个请求到达服务器时，提取请求中的用户id或者IP地址，一个进程查询内存中名单库中名单，当用户id或IP地址在名单库的黑名单中时，拒绝访问或延迟返回数据或返回劣质数据；

为了维护多台服务器中名单库的一致性，单独设立一个服务模块，所有服务器对名单库进行更新操作时，操作不直接发送给服务器上的名单库，而是发送到服务模块，通过服务模块转发该操作到服务模块中注册的所有服务器中；

服务模块还定时对所有注册至服务模块的服务器中的名单进行定时的全量更新；

服务模块包括名单请求处理逻辑模块，名单库本地数据库备份；服务模块具体进行下述操作：

1）当名单操作请求到达名单请求处理逻辑模块时，名单请求处理逻辑模块判断请求类型；

2）如果是删除名单条目的请求，首先到名单库本地数据库中查看该名单条目是否存在；如果存在则删除名单库本地数据库中本条名单条目，同时根据名单请求处理逻辑模块中记录的远程服务器列表给全部远程服务器发送删除该条名单条目的请求；如果不在名单库本地数据库中，不做任何操作；

3）如果是添加名单条目的请求，同样首先到名单库本地数据库中查看该名单条目是否存在；如果不存在则在名单库本地数据库中添加该条名单条目，同时根据名单请求处理逻辑模块中记录的远程服务器列表给全部远程服务器发送添加该名单条目的请求；如果存在不做任何操作。

2.如权利要求1所述的高访问情况下的爬虫封禁方法，其特征在于，同一台服务器中，不同进程之间使用共享内存来维护多个进程之间名单库的一致性；一个进程在查询名单时首先对名单库上读锁，以防止该进程在查询名单时，其它进程对名单库进行增加、删除、修改操作。

3.如权利要求1所述的高访问情况下的爬虫封禁方法，其特征在于：

所述服务模块还定时对所有注册至服务模块的服务器中的名单进行定时的全量更新，具体包括：

定期地，

1)服务模块读取远程服务器中的全部名单库到本地；

2)遍历读取到名单库中所有的名单条目，对于每一个名单条目查看本地数据库，如果不在本地数据库中向远程服务器发送删除该名单条目的请求；

3)遍历本地数据库的所有名单条目，对于每一个名单条目查看是否在远程服务器上名单库中，如果不存在向远程服务器发送添加该名单条目的请求。