CN109818828A - 一种分布式爬虫系统监控方法及装置 - Google Patents

Abstract

本发明公开了一种分布式爬虫系统监控方法及装置，涉及数据挖掘技术领域，方法包括：获取爬虫目标数据，判断在第一时间段内获取到的爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有异常信息生成异常信息统计表，并将异常信息统计表发送至维护端；本发明通过对于爬虫产出数据量是否异常进行监控实现了对爬虫系统本身的异常监控，同时通过对爬虫异常信息的监控，实现了快速定位爬虫系统本身的问题，无需运维人员花费大量的精力定位问题。

Description

一种分布式爬虫系统监控方法及装置

技术领域

本发明涉及数据挖掘技术领域，尤其是涉及一种分布式爬虫系统监控方法及装置。

背景技术

互联网行业的快速高效发展，网络资源的日益丰富和完善，随之而来产生的信息量，无时不刻充斥在人们身边。我们身处在这样一个网络时代，通过快速、高效的获取目标信息，从而影响一家公司的决策、规划、产出的例子比比皆是。而如何利用网络爬虫技术获取网络中的数据为己所用，已然成为各互联网公司迫切需要解决的问题。

因此，使用分布式爬虫系统来获取基础数据是越来越多互联网公司的首选，但是由于分布式系统的并行性和依靠网络的特性，导致一旦分布式系统内某些节点出现问题无法及时知晓并进行修复。目前大部分的分布式监控系统都是对服务器系统运行情况进行监控，对于爬虫系统本身的异常信息没有监测，对于产出数据量是否异常也没有监控，很多分布式监控系统无法快速定位爬虫系统本身的问题所在，需要运维人员花费大量的精力定位问题。

发明内容

为了解决上述问题，本发明提出了一种分布式爬虫系统监控方法及装置。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明实施例提供了一种分布式爬虫系统监控方法，包括：

获取爬虫目标数据，判断在第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；

获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有所述异常信息生成异常信息统计表，并将所述异常信息统计表发送至维护端。

进一步的，所述爬虫目标数据包括属于同一个父类的多个子类数据。

进一步的，所述获取爬虫目标数据的步骤还包括，将所述第一时间段内获取到的所有所述爬虫目标数据按子类进行分类，并分别统计每个子类下的所述子类数据与在上一个所述第一时间段内获取到的爬虫目标数据对应的子类数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息。

进一步的，所述异常信息包括爬虫ID及错误类别信息。

进一步的，所述方法还包括获取所述分布式爬虫系统的服务器网络参数，并根据所述网络参数判断服务器是否异常，若服务器异常，则向维护端发送异常告警信息。

进一步的，所述方法还包括监听所述分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并向维护端发送异常告警信息。

第二方面，本发明实施例提供了一种分布式爬虫系统监控装置，包括爬虫监控模块，所述爬虫监控模块包括第一数据获取模块、第二数据获取模块、数据处理模块及数据发送模块；

所述第一数据获取模块用于获取爬虫目标数据并将所述爬虫目标数据发送至所述数据处理模块；

所述第二数据获取模块用于获取爬虫在爬取过程中产生的异常信息并将所述异常信息发送至所述数据处理模块；

所述数据处理模块用于判断在第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值及根据第二时间段内获取到的所有所述异常信息生成异常信息统计表；

所述数据发送模块用于在所述第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值超过预设阈值时向维护端发送异常告警信息及向维护端发送所述异常信息统计表。

进一步的，所述装置还包括服务器监控模块，所述服务器监控模块用于获取所述分布式爬虫系统的服务器运行参数，并根据所述运行参数判断服务器是否异常，若服务器异常，则通过所述数据发送模块向维护端发送告警信息。

进一步的，所述装置还包括进程监控模块，所述进程监控模块用于监控所述分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并通过所述数据发送模块向维护端发送告警信息。

与现有技术相比，本发明的有益效果在于：

通过对于爬虫产出数据量是否异常进行监控实现了对爬虫系统本身的异常监控，同时通过对爬虫异常信息的监控，实现了快速定位爬虫系统本身的问题，无需运维人员花费大量的精力定位问题。

附图说明

图1为本发明优选实施例提供的一种分布式爬虫系统结构示意图；

图2为本发明优选实施例提供的一种分布式爬虫系统模块结构框图；

图3为本发明优选实施例提供的一种分布式爬虫系统监控装置模块结构示意图；

图4为本发明优选实施例提供的爬虫监控模块结构示意图；

图5为本发明优选实施例提供的一种分布式爬虫系统监控方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1及图2所示，是本发明较佳实施例提供的一种分布式爬虫系统，包括来源数据存储单元、内存数据存储单元、消息队列单元、爬虫功能组单元及产出数据存储单元，本实施例中，来源数据存储单元采用Elasticsearch集群，包括两台4核CPU、16G内存服务器；内存数据存储单元采用redis集群，包括三台4核CPU、16G内存服务器，并以Mysql作为内存数据库；消息队列单元为Rabbitmq；爬虫功能组单元包括多台4核CPU、4G内存的服务器作为爬虫服务器；产出数据存储单元采用阿里云服务器日志服务(Log Service)，以Loghub作为存储介质。

本实施例的分布式爬虫系统以来源数据存储单元作为种子任务存储介质，来源数据存储单元用于存储唯一的任务url及将种子任务下发到内存数据库，通过Elasticsearch的过滤器将生产者爬虫提取的url进行去重处理，避免对数据的重复提取，保证种子任务的唯一性。采用Rabbitmq做为消息队列，有效保证了生产出来的任务url不会丢失，并且可以解决多生产者之间协作问题。内存数据库用于为爬虫功能组提供爬取任务url、存储并分发爬虫功能组产生的临时性任务url、存储并分发爬虫功能组可能会用到的其他数据及存储爬虫数据组爬取过程中的异常信息，通过基于Redis集群的内存数据库存储任务url，极大限度的提高了消费者爬虫获取任务url的速率。选择日志服务作为存储介质，可以保证数据存储效率，以及省去维护成本，并且爬虫抓取的原始数据非常安全。在本实施例提供的分布式爬虫系统中，某一台业务服务器意外宕机，不会使整个系统业务瘫痪或者停滞，其他的服务器会分摊该宕机服务器所要执行的功能，所以当有业务服务器宕机后，监控系统在处理异常情况时，整个爬虫系统依然可以正常运作。

如图3及图4所示，为本发明实施例提供的一种分布式爬虫系统监控装置，包括爬虫监控模块，爬虫监控模块包括第一数据获取模块、第二数据获取模块、数据处理模块及数据发送模块；

第一数据获取模块用于获取爬虫目标数据并将爬虫目标数据发送至数据处理模块；

第二数据获取模块用于获取爬虫在爬取过程中产生的异常信息并将异常信息发送至数据处理模块；

数据处理模块用于判断在第一时间段内获取到的爬虫目标数据数量与在上一个第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值及根据第二时间段内获取到的所有异常信息生成异常信息统计表；

数据发送模块用于在第一时间段内获取到的所有爬虫目标数据数量与在上一个第一时间段内获取到的所有爬虫目标数据数量的差值超过预设阈值时向维护端发送异常告警信息及向维护端发送异常信息统计表。

第一数据获取模块全程对产出数据存储单元中的爬虫目标数据进行监控，并以第一时间段为一个周期，数据处理模块通过统计同类型结果数据的数量在相邻周期的变化量是否超过阈值，从而判断产出数据量是否异常，当判断数据量异常时，通过数据发送模块会向维护人员的邮箱发送告警信息，提醒相关人员进行修复。

第二数据获取模块以第二时间段为周期，并在每个周期末从内存数据库中取出爬虫功能组在该周期内存入的异常信息，并对该周期内获取到的所有爬虫功能组异常信息进行统计，形成异常信息统计报告并通过邮件的方式发送给维护人员，异常信息包括爬虫功能组在实际爬取细节中的异常情况，有助于维护人员迅速判断和定位爬虫功能的问题点，从而节省修复爬虫功能组功能的时间。

进一步的，装置还包括服务器监控模块，服务器监控模块用于获取分布式爬虫系统的服务器网络参数，并根据网络参数判断服务器是否异常，若服务器异常，则通过数据发送模块向维护端发送异常告警信息，服务器监控模块为Zabbix，Zabbix用于监视各种网络参数，包括各服务器的运行状态、网络状态、磁盘使用情况、内存/CPU使用情况等，保证服务器系统的安全运营；通过对每台爬虫系统内的服务器的运行状态进行监测，可以及时的发现服务器系统环境异常并通知维护负责人快速定位及解决存在的各种问题。

进一步的，装置还包括进程监控模块，进程监控模块用于监听分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并通过数据发送模块向维护端发送异常告警信息，进程监控模块为Supervisor，用于监听、启动、停止、重启一个或多个爬虫功能组进程，当爬虫功能组进程因为意外原因导致被杀死，Supervisor会在异常信息生成的同时重启该进程，维护负责人能及时知晓曾经发生过异常，并且不影响爬虫系统的正常工作。

上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

如图5所示，本发明实施例提供了一种分布式爬虫系统监控方法，依赖于一种分布式爬虫系统监控装置，也可以独立实施，包括：

来源数据存储单元下发种子任务至内存数据库；

爬虫功能组单元循环向内存数据库请求并获取种子任务url，根据获取到的种子任务url信息，进行目标数据抓取，并将抓取到的爬虫目标数据保存至产出数据存储单元；

爬虫在数据抓取过程中提取出衍生任务url，送入消息队列单元，经过过滤器去重后存入来源数据存储单元，并将爬取时的异常信息传入内存数据库。

通过第一数据获取模块获取爬虫目标数据，其中，爬虫目标数据包括属于同一个父类的多个子类数据，数据处理模块将第一时间段内获取到的所有爬虫目标数据按子类进行分类，并分别统计每个子类下的子类数据数量与在上一个第一时间段内获取到的爬虫目标数据对应的子类数据数量的差值是否超过预设阈值，若超过预设阈值，即相邻两个周期内爬取的爬虫目标数据量波动较大，则认为爬虫存在异常，数据发送模块通过邮件形式向维护端发送异常告警信息，以便维护人员及时获取爬虫的异常告警信息。

通过第二数据获取模块获取爬虫在爬取过程中产生的异常信息，以第二时间段为周期，第二数据获取模块在每个周期末去获取该周期内的异常信息，数据处理模块根据第二时间段内获取到的所有异常信息生成异常信息统计表，并通过数据发送模块将异常信息统计表发送至维护端，进一步的，异常信息包括爬虫ID及错误类别信息，错误类别信息包括目标无法下载、页面不能访问、目标无法访问等，维护人员能通过异常信息快速定位出现异常的爬虫及异常类别，有效提高了对爬虫的异常监控效率，降低了人力成本。

通过服务器监控模块获取分布式爬虫系统的服务器运行参数，包括运行状态、网络状态、磁盘使用情况、内存/CPU使用情况等，并根据运行参数判断服务器是否异常，若服务器异常，则向维护端发送告警信息。

通过进程监控模块监控分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并向维护端发送告警信息。

Claims (9)

1.一种分布式爬虫系统监控方法，其特征在于，包括：

获取爬虫目标数据，判断在第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；

获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有所述异常信息生成异常信息统计表，并将所述异常信息统计表发送至维护端。

2.根据权利要求1所述的一种分布式爬虫系统监控方法，其特征在于，所述爬虫目标数据包括属于同一个父类的多个子类数据。

3.根据权利要求2所述的一种分布式爬虫系统监控方法，其特征在于，所述获取爬虫目标数据的步骤还包括，将所述第一时间段内获取到的所有所述爬虫目标数据按子类进行分类，并分别统计每个子类下的所述子类数据与在上一个所述第一时间段内获取到的爬虫目标数据对应的子类数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息。

4.根据权利要求1所述的一种分布式爬虫系统监控方法，其特征在于，所述异常信息包括爬虫ID及错误类别信息。

5.根据权利要求1所述的一种分布式爬虫系统监控方法，其特征在于，所述方法还包括获取所述分布式爬虫系统的服务器网络参数，并根据所述网络参数判断服务器是否异常，若服务器异常，则向维护端发送异常告警信息。

6.根据权利要求1所述的一种分布式爬虫系统监控方法，其特征在于，所述方法还包括监听所述分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并向维护端发送异常告警信息。

7.一种分布式爬虫系统监控装置，应用如权利要求1～6所述的一种分布式爬虫系统监控方法，其特征在于，包括爬虫监控模块，所述爬虫监控模块包括第一数据获取模块、第二数据获取模块、数据处理模块及数据发送模块；

所述第一数据获取模块用于获取爬虫目标数据并将所述爬虫目标数据发送至所述数据处理模块；

所述第二数据获取模块用于获取爬虫在爬取过程中产生的异常信息并将所述异常信息发送至所述数据处理模块；

所述数据处理模块用于判断在第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值及根据第二时间段内获取到的所有所述异常信息生成异常信息统计表；

所述数据发送模块用于在所述第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值超过预设阈值时向维护端发送异常告警信息及向维护端发送所述异常信息统计表。

8.根据权利要求7所述的一种分布式爬虫系统监控装置，其特征在于，所述装置还包括服务器监控模块，所述服务器监控模块用于获取所述分布式爬虫系统的服务器运行参数，并根据所述运行参数判断服务器是否异常，若服务器异常，则向维护端发送告警信息。

9.根据权利要求7所述的一种分布式爬虫系统监控装置，其特征在于，所述装置还包括进程监控模块，所述进程监控模块用于监控所述分布式爬虫系统的服务器进程，并在任意进程异常时重启该进程并向维护端发送告警信息。