CN112100472A - 爬虫调度方法、装置、终端设备和可读存储介质 - Google Patents

Abstract

本发明实施例公开了爬虫调度方法、装置、终端设备和可读存储介质，该方法包括在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间；根据目标网页的更新情况确定爬虫下次调度的映射时间间隔；根据当前映射时间和映射时间间隔确定爬虫下次调度的下次调度映射时间；将下次调度映射时间映射至实际时间轴上以确定对应的下次调度实际时间；根据下次调度实际时间调度爬虫。本实施例的技术方案通过更新距离映射时间轴与实际时间轴之间的映射关系，将爬虫的调度时间与网页更新速度之间的关系进行量化，有效避免爬虫资源过度浪费，保证对网页更新的数据进行及时的爬取。

Description

爬虫调度方法、装置、终端设备和可读存储介质

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种爬虫调度方法、装置、终端设备和可读存储介质。

背景技术

现有爬虫任务调度系统，一般都是针对每个网页设定一个固定调度频率，由调度系统设置的定时任务根据每个网站设定的固定频率来做调度采集。但是，对于更新频率不高的网页，以固定频率调度爬虫采集数据，导致采集重复率比较高，浪费数据采集资源。

发明内容

鉴于上述问题，本发明提出一种爬虫调度方法、装置、终端设备和可读存储介质。

本发明的一个实施例提出一种爬虫调度方法，该方法包括：

在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；

根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；

根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；

将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；

根据所述下次调度实际时间调度所述爬虫。

上述的爬虫调度方法，所述更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位实际时间段；

每一单位实际时间段通过预设的映射公式映射至所述更新距离映射时间轴；

所述映射公式如下：

x_i表示第i个单位时间段内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段映射至所述更新距离映射时间轴上对应的更新距离映射时间段。

上述的爬虫调度方法，所述当前映射时间根据以下公式计算：

f(p_n)表示所述当前映射时间，p_k和p_k+1分别表示单位实际时间T_k和单位实际时间T_k+1在所述更新距离映射时间轴上的对应更新距离映射时间，T_0～t表示当前实际时间，T_0～t位于单位实际时间T_k和单位实际时间T_k+1范围内。

上述的爬虫调度方法，所述映射时间间隔根据以下公式计算：

Δf(p_n)表示所述映射时间间隔，X_max表示所述爬虫n次爬取中单次最大爬取数目，T_n表示n次爬取总时间，X_m表示n次爬取中第m次爬取到的有效爬取数目，a表示预设的误差参数。

上述的爬虫调度方法，所述下次调度映射时间对应的下次调度实际时间根据以下公式计算：

f(p)＝f(p_n)+Δf(p_n)，f(t)表示所述下次调度实际时间，f(p)表示所述下次调度映射时间，f(p)位于更新距离映射时间p_l和更新距离映射时间p_l+1范围内，T_l和T_l+1分别表示更新距离映射时间p_l和更新距离映射时间p_l+1在所述实际时间轴上的对应单位实际时间。

上述的爬虫调度方法，还包括：

在调度爬虫爬取所述目标网页的数据时，将所述数据添加至爬虫队列中，以使爬虫从爬虫队列中爬取数据，所述爬虫的数目和所述爬虫队列的数目为多个。

本发明的另一个实施例提出一种爬虫调度装置，该装置包括：

当前映射时间确定模块，用于在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；

映射时间间隔确定模块，用于根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；

下次调度映射时间确定模块，用于根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；

下次调度实际时间确定模块，用于将所述调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；

爬虫调度模块，用于根据所述下次调度实际时间调度所述爬虫。

进一步的，上述的爬虫调度装置，所述更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位时间段；每一单位时间段通过预设的映射公式映射至所述更新距离映射时间轴；所述映射公式如下：

x_i表示第i个单位时间段内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段映射至所述更新距离映射时间轴上对应的更新距离映射时间段。

本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的爬虫调度方法。

本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的爬虫调度方法。

本发明在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；根据所述下次调度实际时间调度所述爬虫。本发明的技术方案通过预先根据目标网页的更新情况将实际时间轴构造更新距离映射时间轴，将爬虫的调度时间与网页更新情况进行关联，通过更新距离映射时间轴与实际时间轴之间的映射关系，将爬虫的调度时间与网页更新速度之间的关系进行量化，根据网页更新速度合理调度爬虫。将网页更新频率与爬虫的调度时间进行量化关联，不仅有效避免爬虫资源过度浪费，还可以保证对网页更新的数据进行及时的爬取。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提供的一种爬虫调度方法的流程示意图；

图2示出了本发明实施例提供的一种更新距离映射时间轴与实际坐标轴对照关系图；

图3示出了本发明实施例提供的另一种爬虫调度方法的流程示意图；

图4示出了本发明实施例提供的一种爬虫调度装置的结构示意图。

主要元件符号说明：

1-爬虫调度装置；100-当前映射时间确定模块；200-映射时间间隔确定模块；300-下次调度映射时间确定模块；400-下次调度实际时间确定模块；500-爬虫调度模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

本发明通过预先根据目标网页的更新情况将实际时间轴构造更新距离映射时间轴，将爬虫的调度时间与网页更新情况进行关联，通过更新距离映射时间轴与实际时间轴之间的映射关系，将爬虫的调度时间与网页更新速度之间的关系进行量化，根据网页更新速度合理调度爬虫。根据目标网页的更新情况将实际时间轴映射成更新距离映射时间轴，在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间；根据所述目标网页的更新情况确定爬虫下次调度的映射时间间隔；根据当前映射时间和映射时间间隔确定所述爬虫下次调度的下次调度映射时间；将调度映射时间映射至实际时间轴上以确定对应的下次调度实际时间；根据下次调度实际时间调度所述爬虫。

实施例1

本实施例，参见图1，示出了一种爬虫调度方法，该方法包括：

S100：在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定。

目标网页的更新情况与目标网页的更新频率有关，更新频率通过爬虫在一段时间T内分n次采集目标网页，X为爬虫n次采集目标网页累计新增信息数，故目标网页的更新频率f＝X/T，目标网页更新周期t＝T/X。进一步的，考虑到目标网页在一天24小时内更新频率是不断变化的，可以取爬虫在一天24小时中n次爬取目标网页累计新增信息总数X(或某一个时间段内采集到的累计新增数)，然后将一天24小时按照每60分钟为24个单位时间段，统计ΔT₁、ΔT₂、ΔT₃...ΔT₂₄各个单位时间段内的目标网页新增数x_i，故各个单位时间段ΔT₁、ΔT₂、ΔT₃...ΔT₂₄可以通过目标网页的更新情况对应映射得到更新距离映射时间段Δp₁、Δp₂、Δp₃...Δp₂₄，进一步的，可以通过更新距离映射时间段确定映射时间点p₁、p₂、p₃...p₂₄，以根据映射时间点p₁、p₂、p₃...p₂₄构造更新距离映射时间轴。

进一步的，在调度爬虫爬取目标网页的数据时，可以将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间。示范性的，若当前实际时间是T₁，对应的当前映射时间是p₁；若当前实际时间位于T₂～T₃范围内，对应的当前映射时间是位于p₂～p₃范围内。

S200：根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔。

可以理解，爬虫下次调度的映射时间间隔根据所述目标网页的更新情况确定，映射时间间隔与更新距离映射时间轴为同一维度，映射时间间隔可以根据目标网页的更新频率获得。

S300：根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间。

爬虫下次调度的下次调度映射时间等于当前映射时间加上映射时间间隔，可以理解，根据目标网页的更新情况确定的映射时间间隔、当前映射时间以及下次调度映射时间均位于更新距离映射时间轴。

S400：将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间。

将下次调度映射时间映射至实际时间轴上，在实际时间轴上确定对应的下次调度实际时间。

S500：根据所述下次调度实际时间调度所述爬虫。

根据实际时间轴上对应的下次调度实际时间调度爬虫，当到达下次调度实际时间时，调度爬虫爬取目标网页的数据。

本实施例在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；根据所述下次调度实际时间调度所述爬虫。本实施例的技术方案通过预先根据目标网页的更新情况将实际时间轴构造更新距离映射时间轴，将爬虫的调度时间与网页更新情况进行关联，通过更新距离映射时间轴与实际时间轴之间的映射关系，将爬虫的调度时间与网页更新速度之间的关系进行量化，根据网页更新速度合理调度爬虫。将网页更新频率与爬虫的调度时间进行量化关联，不仅有效避免爬虫资源过度浪费，还可以保证对网页更新的数据进行及时的爬取。

实施例2

进一步的，更新距离映射时间轴可以通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位时间段；每一单位时间段通过预设的映射公式映射至所述更新距离映射时间轴；所述映射公式如下：

x_i表示第i个单位时间段ΔT_i内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段ΔT_i映射至所述更新距离映射时间轴上对应的更新距离映射时间段，i≤r。

示范性的，将一天24小时的实际时间轴分为24个单位时间段，周期T＝1440分钟，目标网页1440分钟内爬取到累计新增的有效信息总数X为168条，统计各个单位时间段ΔT₁＝0分钟～60分钟、ΔT₂＝60分钟～120分钟、ΔT₃＝120分钟～180分钟...ΔT₂₄＝1380分钟～1440分钟对应的新增的有效信息数x₁＝4、x₂＝10、x₃＝7...x₂₄＝7，故目标网页各个单位时间段ΔT₁、ΔT₂、ΔT₃...ΔT₂₄映射至所述更新距离映射时间轴上对应的更新距离映射时间段Δp₁、Δp₂、Δp₃...Δp₂₄依次如下所示：

Δp₁＝4/168×1440≈34分钟、Δp₂＝10/168×1440≈85分钟、Δp₃＝7/168×1440＝60分钟...Δp₂₄＝7/168×1440＝60分钟。可以理解，ΔT₁、ΔT₂、ΔT₃...ΔT₂₄映射至更新距离映射时间轴上后，间隔范围发生变化，更新频率快的单位时间段对应的更新距离映射时间段的范围较大，更新频率慢的单位时间段对应的更新距离映射时间段的范围较小，相应的，更新距离映射时间轴可以延长更新频率快的单位时间段，缩小更新频率慢的单位时间段，以保证爬虫在更新频率快的单位时间段可以多次被调度，爬取到更多的有效数据，爬虫在更新频率慢的单位时间段减少调度次数，避免爬虫资源浪费。

进一步的，如图2所示，P轴代表更新距离映射时间轴，T轴代表实际时间轴，在更新距离映射时间轴上，p₀＝0、p₁＝p₀+Δp₁＝34分钟、p₂＝p₁+Δp₂＝119分钟、p₃＝p₂+Δp₃＝179分钟...p₂₄＝p₂₃+Δp₂₄＝1440分钟。

进一步的，当前映射时间可以根据以下公式计算：

f(p_n)表示所述当前映射时间，p_k和p_k+1分别表示单位实际时间T_k和单位实际时间T_k+1在所述更新距离映射时间轴上的对应更新距离映射时间，T_0～t表示当前实际时间，T_0～t位于单位实际时间T_k和单位实际时间T_k+1范围内。可以理解，若当前实际时间T_0～t＝T_k，则当前实际时间T_0～t对应的当前映射时间为p_k；若当前实际时间T_0～t＝T_k+1，则当前实际时间T_0～t对应的当前映射时间为p_k+1。

示范性的，如图2所示，T_0～t表示当前实际时间，若T_0～t＝75分钟，T_0～t＝75分钟位于单位实际时间T_k＝60分钟和单位实际时间T_k+1＝120分钟的范围内，T_k＝60分钟和T_k+1＝120分钟分别对应的更新距离映射时间p_k＝34分钟和p_k+1＝119分钟，则当前实际时间T_0～t＝75分钟对应的当前映射时间f(p_n)＝34+(75-60)×(119-34)/(120-60)≈55分钟。可以理解，实际时间轴上的当前实际时间T_0～t＝75对应的更新距离映射时间轴上的当前映射时间f(p_n)≈55分钟。

进一步的，映射时间间隔可以根据以下公式计算：

Δf(p_n)表示所述映射时间间隔，X_max表示所述爬虫n次爬取中单次最大爬取数目，T_n表示n次爬取总时间，X_m表示n次爬取中第m次爬取到的有效爬取数目，a表示预设的误差参数。

示范性的，若爬虫n次爬取中单次最大爬取数目X_max＝10，n次爬取总时间T_n＝1440分钟，n次爬取到的有效爬取总数目

误差参数＝30％，误差参数30％表示爬虫在n次爬取到的有效爬取总数目存在30％的遗漏，则Δf(p_n)＝10×1440/(1+30％)×168≈65分钟，1440/(1+30％)×168表示目标网页每更新一条数据的更新时间，更新一条数据的更新时间乘以单次最大爬取数目表示爬虫下次调度时可以获取最多更新数据的映射时间间隔，可以保证爬虫的每次调度都可以获取到最多更新数据，避免爬虫资源浪费。可以理解，爬虫在第n次爬取目标网页获得数据后，可以在更新距离映射时间轴上确定下次调度爬虫的映射时间间隔Δf(p_n)≈65分钟。

进一步的，在更新距离映射时间轴上，下次调度映射时间f(p)＝当前映射时间+映射时间间隔＝f(p_n)+Δf(p_n)＝55+65＝120分钟。

进一步的，下次调度映射时间对应的下次调度实际时间根据以下公式计算：

f(p)＝f(p_n)+Δf(p_n)，f(t)表示所述下次调度实际时间，f(p)表示所述下次调度映射时间，f(p)位于更新距离映射时间p_l和更新距离映射时间p_l+1范围内，T_l和T_l+1分别表示更新距离映射时间p_l和更新距离映射时间p_l+1在所述实际时间轴上的对应单位实际时间。可以理解，若下次调度映射时间f(p)＝p_l，则下次调度映射时间f(p)对应的下次调度实际时间为T_l，若下次调度映射时间f(p)＝p_l+1，则下次调度映射时间f(p)对应的当前映射时间为T_l+1。

示范性的，如图2所示，下次调度映射时间f(p)＝120分钟，位于更新距离映射时间p_l＝119分钟和更新距离映射时间p_l+1＝179分钟的范围内，更新距离映射时间p_l＝119分钟和更新距离映射时间p_l+1＝179分钟在实际时间轴上的对应单位实际时间分别为T_l＝120分钟和T_l+1＝180分钟，则f(t)＝120+(120-119)×(180-120)/(179-119)＝121分钟。当实际时间到达121分钟时，调度爬虫爬取目标网页的数据。可以理解，若实际时间轴的原点T0＝00:00，则f(t)＝121分钟对应am02:01，当实际时间到达am02:01时，调度爬虫。

进一步的，可以定期对更新距离映射时间轴进行更新，以保证在目标网页的更新频率发生变化时，爬虫的调度时间可以及时适应新的更新频率，保证爬虫的有效调用。

实施例3

本实施例，提供一种分布式爬虫任务调度系统，包括调度器、任务队列、爬虫和网源库，调度器，用于根据目标网页的更新情况调度爬虫爬取数据；任务队列，用于存放待爬取网页的URL；爬虫，用于数据提取、URL提取；网源库，用于存储各个目标网页的调度时间。

爬虫任务调度分为两个阶段，第一阶段是爬虫数据采集阶段，进行网站历史更新情况的积累，例如，可以在一个星期或更长时间段内，以一个小时为时间间隔循环访问目标网站，统计出各个时间间隔、各个时间间隔对应的有效采集数目以及该时间段内有效采集信息总数X，根据统计出的各个时间间隔、各个时间间隔对应的有效采集数目x_i以及该时间段内有效采集信息总数X预先构造更新距离映射时间轴。

第二个阶段，爬虫调度的正式运行阶段，这个阶段爬虫会根据各个网页的更新频率调整自身的爬行频率，参见图3，示出了另一种爬虫调度方法包括以下步骤：

S10：根据网源库中各个目标网页的调度时间，将到期的网页URL加入待爬取的任务队列中。

S20：爬虫从待爬取的任务队列中取出网页URL，通过解析任务解析数据，并对网页URL进行去重处理。

S30：根据爬虫第n次采集到的数据，调整单次最大爬取数目X_max、爬取总时间T_n以及n次爬取到的有效爬取总数目

以计算映射时间间隔。

S40：根据映射时间间隔和当前映射时间计算下次调度映射时间，并将下次调度映射时间映射至实际时间轴以确定爬虫下次调度的实际时间。

S50：将网页下次调度的实际时间更新至网源库中，等待下次调度。

实施例4

本实施例，参见图4，示出了一种爬虫调度装置1包括：当前映射时间确定模块100、映射时间间隔确定模块200、下次调度映射时间确定模块300、下次调度实际时间确定模块400和爬虫调度模块500。

当前映射时间确定模块100，用于在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；映射时间间隔确定模块200，用于根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；下次调度映射时间确定模块300，用于根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；下次调度实际时间确定模块400，用于将所述调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；爬虫调度模块500，用于根据所述下次调度实际时间调度所述爬虫。

更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位时间段；每一单位时间段通过预设的映射公式映射至所述更新距离映射时间轴；

所述映射公式如下：

x_i表示第i个单位时间段ΔT_i内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段ΔT_i映射至所述更新距离映射时间轴上对应的更新距离映射时间段，i≤r。

本实施例爬虫调度装置1通过当前映射时间确定模块100、映射时间间隔确定模块200、下次调度映射时间确定模块300、下次调度实际时间确定模块400和爬虫调度模块500的配合使用，用于执行上述实施例所述的爬虫调度方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

可以理解，本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的爬虫调度方法。

可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的爬虫调度方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种爬虫调度方法，其特征在于，该方法包括：

在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；

根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；

根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；

将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；

根据所述下次调度实际时间调度所述爬虫。

2.根据权利要求1所述的爬虫调度方法，其特征在于，所述更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位时间段；

每一单位时间段通过预设的映射公式映射至所述更新距离映射时间轴；

所述映射公式如下：

x_i表示第i个单位时间段内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段映射至所述更新距离映射时间轴上对应的更新距离映射时间段。

3.根据权利要求2所述的爬虫调度方法，其特征在于，所述当前映射时间根据以下公式计算：

f(p_n)表示所述当前映射时间，p_k和p_k+1分别表示单位实际时间T_k和单位实际时间T_k+1在所述更新距离映射时间轴上的对应更新距离映射时间，T_0～t表示当前实际时间，T_0～t位于单位实际时间T_k和单位实际时间T_k+1范围内。

4.根据权利要求3所述的爬虫调度方法，其特征在于，所述映射时间间隔根据以下公式计算：

Δf(p_n)表示所述映射时间间隔，X_max表示所述爬虫n次爬取中单次最大爬取数目，T_n表示n次爬取总时间，X_m表示n次爬取中第m次爬取到的有效爬取数目，a表示预设的误差参数。

5.根据权利要求4所述的爬虫调度方法，其特征在于，所述下次调度映射时间对应的下次调度实际时间根据以下公式计算：

f(p)＝f(p_n)+Δf(p_n)，f(t)表示所述下次调度实际时间，f(p)表示所述下次调度映射时间，f(p)位于更新距离映射时间p_l和更新距离映射时间p_l+1范围内，T_l和T_l+1分别表示更新距离映射时间p_l和更新距离映射时间p_l+1在所述实际时间轴上的对应单位实际时间。

6.根据权利要求1所述的爬虫调度方法，其特征在于，还包括：

在调度爬虫爬取所述目标网页的数据时，将所述数据添加至爬虫队列中，以使爬虫从爬虫队列中爬取数据，所述爬虫的数目和所述爬虫队列的数目为多个。

7.一种爬虫调度装置，其特征在于，该装置包括：

当前映射时间确定模块，用于在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；

映射时间间隔确定模块，用于根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；

下次调度映射时间确定模块，用于根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；

下次调度实际时间确定模块，用于将所述调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；

爬虫调度模块，用于根据所述下次调度实际时间调度所述爬虫。

8.根据权利要求7所述的爬虫调度装置，其特征在于，所述更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位时间段；

每一单位时间段通过预设的映射公式映射至所述更新距离映射时间轴；

所述映射公式如下：

x_i表示第i个单位时间段内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段映射至所述更新距离映射时间轴上对应的更新距离映射时间段。

9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至6任一项所述的爬虫调度方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6任一项所述的爬虫调度方法。

Images