CN110532453B

CN110532453B - 一种调整爬虫更新频率的方法、存储介质及爬虫服务器

Info

Publication number: CN110532453B
Application number: CN201910738844.9A
Authority: CN
Inventors: 王高鹏
Original assignee: Beijing Zhiyou Wang'an Technology Co ltd
Current assignee: Beijing Zhiyou Wang'an Technology Co ltd
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2022-07-22
Anticipated expiration: 2039-08-12
Also published as: CN110532453A

Abstract

本发明公开了一种调整爬虫更新频率的方法、存储介质及爬虫服务器，所述方法包括：在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；计算获取到的所有数据量的平均值；根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。本发明通过在每一轮爬虫任务后，更新渠道的标识字符，并通过所述标识字符自动化调整爬虫更新频率，同时也节约了人力成本和机器成本。

Description

一种调整爬虫更新频率的方法、存储介质及爬虫服务器

技术领域

本发明涉及爬虫技术领域，特别涉及一种调整爬虫更新频率的方法、存储介质及爬虫服务器。

背景技术

目前，对现有的渠道爬虫轮询发起爬虫任务抓取和更新渠道数据。这样随着爬虫数量的增加，单次轮询的更新周期会变长，会导致有些活跃渠道数据不能及时的被爬取，而其他渠道可能本身更新并不活跃，从而并不是每次抓取的时候都有渠道数据已经更新或新增，所以会白白耗费爬虫服务器资源。

此外，通过手动标注活跃渠道，对于活跃渠道的爬虫提高抓取频率，对不活跃渠道的爬虫降低爬虫的抓取频率，虽然可以解决上述问。但是，手动标注渠道会较为麻烦，渠道本身的更新频率变了不能及时调整爬虫抓取的频率，而且人工维护标注渠道成本较高。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种调整爬虫更新频率的方法、存储介质及爬虫服务器，以解决现有技术中渠道爬虫更新策略对活跃渠道更新不及时，对不活跃渠道也频繁更新，人工调整更新策略成本高等问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种调整爬虫更新频率的方法，其包括：

在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；

计算获取到的所有数据量的平均值；

根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。

所述调整爬虫更新频率的方法，其中，所述在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量具体包括：

当发起爬虫抓取任务时，在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道；

获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量。

所述调整爬虫更新频率的方法，其中，所述获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量还包括：

将所述预设爬虫任务表中的第一标识字符的数值修改为第二预设数值。

所述调整爬虫更新频率的方法，其中，所述计算获取到的所有数据量的平均值具体包括：

获取所述预设爬虫任务表中第一标识字符为第二预设数值对应渠道的数据量；

计算获取到数据量的平均值。

所述调整爬虫更新频率的方法，其中，所述根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新具体包括：

根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符；

获取所述爬虫任务表中第三标识字符对应的渠道，并对获取到的渠道执行预设操作，以更新所述第三标识字符；

并采用所述第二标识字符以及更新后的第三标识字符对所述预设爬虫任务表进行更新。

所述调整爬虫更新频率的方法，其中，根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符具体包括：

根据所述平均值以及各渠道对应的数据量确定各渠道的活跃程度；

根据所述活跃程度各渠道的第二标识字符。

所述调整爬虫更新频率的方法，其中，所述调整爬虫更新频率的方法还包括：

当预设爬虫任务表中不存在第一标识字符为第一预设数值的渠道时，结束爬虫抓取任务。

创建预设爬虫任务表，其中，所述爬虫任务表包括渠道，渠道爬虫采集得到的数据量以及标识字段。

一种终端设备，其中，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上任意一项所述调整爬虫更新频率的方法中的步骤。

一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任意一项所述调整爬虫更新频率的方法中的步骤。

有益效果：与现有技术相比，本发明提供了一种调整爬虫更新频率的方法、存储介质及爬虫服务器，所述方法包括：在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；计算获取到的所有数据量的平均值；根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。本发明通过在每一轮爬虫任务后，更新渠道的标识字符，并通过所述标识字符自动化调整爬虫更新频率，同时也节约了人力成本和机器成本。

附图说明

图1为本发明提供的一种调整爬虫更新频率的方法较佳实施例的流程图。

图2为本发明提供的爬虫服务器较佳实施例的结构原理图。

具体实施方式

本发明提供一种调整爬虫更新频率的方法、存储介质及爬虫服务器，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的一种调整爬虫更新频率的方法较佳实施例的流程图。所述方法包括：

S100、在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量。

具体地，所述预设爬虫任务表为预先创建的，其可以首先在数据库中创建并维护一张爬虫任务表，其中，所述爬虫任务表中字段分别为渠道id，最近一次爬虫任务抓取数量以及一个标识字段。所述渠道是指爬虫采集的网站，相应的，所述渠道id字段的数据可以根据现有的爬虫的渠道来填入；爬虫任务抓取数量由爬虫日志器自动获取到，较佳地，所述标识字段的标识字符初始值设置为0。

本实施例中，所述第一标识字符为标识为与所述标识字段对应的字符，其中，所述第一预设数值为第一标识字符实际对应的数值。较佳的，所述第一标识字符为“0”，因此所述第一预设数值为0。相应的，所述在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量具体包括：

S101、当发起爬虫抓取任务时，在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道；

S102、获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量。

具体地，所述第一预设数值优选为0，当然其也可以是其他的数字，从0开始只是为了记录方便，这里不做具体的限定。本实施例中，每次只对爬虫任务表中标识字段为0的渠道发起爬虫抓取任务，相应的，对于爬虫任务表中标识字段不为0的渠道本轮暂时不用发起爬虫抓取任务，从而实现了自动化调整爬虫抓取频率。

本实施例中，可以通过爬虫日志器(即记录爬虫采集的行为日志的程序)对该渠道本次任务中抓取应用数量进行收集，当前渠道爬虫任务榨取完成后将本次爬虫抓取数量更新到爬虫任务表中。

进一步，所述获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量还包括：

S103、将所述预设爬虫任务表中的第一标识字符的数值修改为第二预设数值。

示例性的，所述第二预设数值为-1，相应的，对爬虫任务表中标识字段为0的渠道发起爬虫抓取任务后，还要将标识字段对应的值设置为-1，以表示在这一轮的爬取任务中当前渠道已经发起过爬虫采集任务了。

本实施例中，所述调整爬虫更新频率的方法还包括：

当预设爬虫任务表中不存在第一标识字符为第一预设数值的渠道时，结束爬虫抓取任务。也就是说，当爬虫任务表中没有标识字段数值为0的记录时，表示这一轮爬虫任务结束。

S200、计算获取到的所有数据量的平均值。

具体地，为了将上一轮发起的任务中各渠道采集的数量进行分类，从而还需要计算获取到的所有数据量的平均值。相应的，本实施例的一个实现方式中，所述计算获取到的所有数据量的平均值具体包括：

S201、获取所述预设爬虫任务表中第一标识字符为第二预设数值对应渠道的数据量；

S202、计算获取到数据量的平均值。

示例性的，通过取出所有标识字段数值为-1的记录，所述记录即是所有上一轮发起的任务的渠道，本实施例中较佳地，对这些记录中采集数量求平均值，以便后续步骤中对各渠道进行分类。

S300、根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。

具体地，本发明通过所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并通过所述第二标识字符可以对各渠道的活跃程序进行划分，以便实现自动化调整爬虫抓取的频率。相应的，所述根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新具体包括：

S301、根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符。

具体地，根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符具体包括：

S3011、根据所述平均值以及各渠道对应的数据量确定各渠道的活跃程度；

S3012、根据所述活跃程度各渠道的第二标识字符。

本实施例中，通过取出所有标识字段数值为-1的记录，对这些记录中采集数量求平均值，以将这部分记录分为3大类，第一类是更新数量在平均值之上的，第二类是在平均值直下且不为更新数量不为零的，第三类是更新数量为零的。其中，所述第一类为表示活跃渠道；所述第二类表示一般渠道；第三类表示不活跃渠道。

进一步，可以根据上述不同类型为各渠道重新设置标识字段，即，对上面划分的三大类分别设置标识值。第一类表示活跃渠道，可以设置为0(代表本轮中需要对这条渠道发起爬虫任务)。第二大类表示一般渠道，可以设置为1(表示本轮，不需要对该渠道发起爬虫任务，在本轮结束后，下一轮开始前会将这个值减1，下一轮中需要发起该渠道的爬虫任务)。第三类，表示不活跃渠道，可以设置为5(仅参考，可根据实际情况设置。表示之后的4轮爬虫任务都不需要发起任务，在之后的第5轮中才需要对此渠道发起爬虫任务)。当然在实际应用中，也可以基于最近一次爬虫抓取数量数据的数量分成更多的类别，然后分别设置不同的标识值，这里不做具体限定。

S302、获取所述爬虫任务表中第三标识字符对应的渠道，并对获取到的渠道执行预设操作，以更新所述第三标识字符。

具体地，所述第三标识字符为所述预设爬虫任务表中标识字段数值大于0的字段，所述预设操作可以是将标识字段的数值减1，也就是说，对预设爬虫任务表中标识字段大于0的记录的标识字段值减1，在本实施例中，每隔一轮标识字段减一，标识字段为0代表这轮需要发起该渠道的爬虫任务，第一轮中所有值都是-1，这个操作相当于默认不执行。

S303、并采用所述第二标识字符以及更新后的第三标识字符对所述预设爬虫任务表进行更新。

具体地，当每一轮爬虫任务结束后，将各渠道计算得到的标识还要更新至爬虫任务表中，以便下一轮在执行爬虫任务时可以根据各标识字段数值的大小来发起爬虫抓取任务，从而本发明解决了现有的渠道爬虫更新策略对活跃渠道更新不及时，对不活跃渠道也频繁更新，人工调整更新策略成本高等情况。

综上，本发明采用爬虫对渠道采集一次所得到的数据量进行收集，对爬虫采集数据量统计分析后对对各个渠道爬虫设置下次开始抓取的时间。从而实现了自动化调整爬虫抓取频率，在一定程度上节约了人力成本和机器成本。

本发明还提供了一种爬虫服务器，如图2所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(CommunicationsInterface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的调整爬虫更新频率的方法中的步骤。

此外，上述终端设备以及存储介质中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种调整爬虫更新频率的方法，其特征在于，其包括：

在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取本次各渠道中爬虫采集数据的数据量，所述爬虫任务表中字段分别为渠道id、最近一次爬虫任务抓取数据量、以及一标识字段，所述第一标识字符为与标识字段对应的字符，爬虫任务抓取数据由爬虫日志器自动获取；

计算获取到的所有数据量的平均值；

根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新；

所述在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取本次各渠道中爬虫采集数据的数据量，具体包括：

发起爬虫抓取任务时，在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道；

获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量；

获取各渠道中爬虫采集数据的数据量，将采集到的各数据量更新所述预设爬虫任务表中的数据量，之后还包括：

将所述预设爬虫任务表中的第一标识字符的数值修改为第二预设数值；

所述根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新，具体包括：

获取所述爬虫任务表中第三标识字符对应的渠道，并对获取到的渠道执行预设操作，以更新所述第三标识字符，所述第三标识字符为所述预设爬虫任务表中标识字段数值大于第一预设数值的字段；

并采用所述第二标识字符以及更新后的第三标识字符对所述预设爬虫任务表进行更新；

所述根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，包括：

根据所述活跃程度，确定各渠道的第二标识字符。

2.根据权利要求1所述调整爬虫更新频率的方法，其特征在于，所述计算获取到的所有数据量的平均值具体包括：

计算获取到数据量的平均值。

3.根据权利要求1所述调整爬虫更新频率的方法，其特征在于，所述调整爬虫更新频率的方法还包括：

4.根据权利要求1所述调整爬虫更新频率的方法，其特征在于，所述调整爬虫更新频率的方法还包括：

创建预设爬虫任务表。

5.一种爬虫服务器，其特征在于，包括：处理器和存储器;所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如权利要求1～4任意一项所述调整爬虫更新频率的方法中的步骤。

6.一种计算存储介质，其特征在于，所述计算存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～4任意一项所述调整爬虫更新频率的方法中的步骤。