CN103530390B - 网页抓取的方法及设备 - Google Patents

Abstract

本发明公开了网页抓取的方法及设备，其中所述方法包括：获取在目标网站上进行网页抓取的动态流量配额值；根据所述动态流量配额值，对所述目标网站上的网页进行抓取。通过本方法，在搜索引擎爬虫程序抓取网站中的网页时，减少了爬虫程序与被抓取站点的冲突，使爬虫程序抓取行为与搜索引擎更新需求得到了合理的平衡。

Description

网页抓取的方法及设备

技术领域

本发明涉及搜索引擎技术领域，具体涉及网页抓取的方法及设备。

背景技术

搜索引擎是一种互联网信息平台，通过搜索引擎能够将互联网上的大量网页信息收集起来，经过加工处理后，建立信息数据库和索引数据库，用户可以通过在搜索引擎提供的入口中输入查询词，从而获取搜索引擎针对该查询词返回的搜索结果。随着搜索引擎技术的不断发展和成熟，其提供的服务业越来越完善，在人们从规模庞大的互联网中获取所需信息时，搜索引擎已经成为一种非常常用，也非常便利的工具。

搜索引擎为了能够下载互联网上的网页，以供分析网页数据和建立索引，往往需要使用一种抓取网页的工具程序，这种程序通常被称为“爬虫程序”或“蜘蛛程序”。由于互联网上总是不停的产生新网页，同时原有的网页也在不断的更新，因此爬虫程序需要不停的工作，以保证搜索引擎能够得到最新的网页数据。为了提供更好的搜索结果，搜索引擎的爬虫程序总希望能够更快地收录互联网上的新网页以及更新的原有网页。但网页资源位于网络上的各个站点主机上，爬虫程序对网页资源的抓取势必会占用站点主机的服务资源，如站点主机的软硬件处理资源，带宽等。如果抓取网页的任务超过了站点主机的承受范围，就会影响到网站用户的正常访问，那么爬虫程序的网页抓取行为就成为了对网站不友好行为，严重时会导致影响网站响应超时，甚至网站服务器崩溃。而且，为保护网站的稳定性，网站常常会监控爬虫程序的访问，并对产生不友好行为的爬虫程序采取限制，甚至禁止访问措施。一旦爬虫程序被限制或禁止，搜索引擎的网页抓取效率会变低，甚至无法更新或下载该网站网页资源，最终对搜索服务的提供产生负面影响。

同时，现有技术中一般是由人工设定来设定爬虫程序可对网站抓取的流量或频率，这种方式虽然减少搜索引擎的爬虫程序与被抓取网站的冲突，但是对网页数据更新没有得到最大体现，因此使得爬虫程序抓取行为与网站数据更新的需求没有得到合理的平衡。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页抓取的设备和相应的网页抓取的方法。

依据本发明的一个方面，提供了一种网页抓取的方法，包括：

获取在目标网站上进行网页抓取的动态流量配额值；

根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

可选地，所述获取在目标网站上进行网页抓取的动态流量配额值，包括：

获取所述目标网站的受访问数据；

根据所述受访问数据，确定所述目标网站的抓取承受流量；

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

可选地，所述获取所述目标网站的受访问数据，包括：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

可选地，所述根据所述受访问数据，确定所述目标网站的抓取承受流量，包括：

根据所述受访问数据，确定所述目标网站的可承受访问总量；

根据所述可承受总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

可选地，所述根据所述受访问数据，确定所述目标网站的可承受访问总量，包括：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

可选地，所述获取所述目标网站内网页的网页质量分布，包括：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

可选地，所述获取所述目标网站内网页的网页质量分布，包括：

获取所述目标网站内所有已收录网页的网页质量分布；

所述根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量，包括：

获取所述目标网站内所有已收录网页的网页质量分布的总和，根据所述目标网站内所有网页的网页质量分布的总和，确定抓取目标网站的任务流量。

可选地，还包括：

获取一个或多个任务比例因子；

所述根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量，包括：

根据所述网页质量分布的总和与一个或多个所述任务比例因子的乘积，确定抓取目标网站的任务流量。

可选地，所述获取一个或多个任务比例因子，包括：

获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中网页总数的比例。

可选地，所述获取所述目标网站中，待抓取的网页数占所述目标网站中网页总数的比例，包括：

获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中网页总数的比例。

可选地，所述获取所述目标网站中，不重复的网页数量占所述目标网站中网页总数的比例，包括：

在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中网页总数的比例。

可选地，还包括：

根据抓取目标网站的任务总时间确定单位时间系数；

所述根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量，包括：

根据所述网页质量分布的总和与一个或多个所述任务比例因子，以及所述单位时间系数的乘积，确定抓取目标网站的任务流量。

可选地，还包括：

当所述任务流量大于所述抓取承受流量，且两者的差大于预置的阈值时，通过调整所述任务比例因子，和/或所述单位时间系数，调整所述任务流量，直至所述任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

可选地，所述根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值，包括：

当所述任务流量大于所述抓取承受流量，且两者的差小于预置的阈值时，将所述任务流量确定为在所述目标网站上进行网页抓取的动态流量配额值。

可选地，所述获取在目标网站上进行网页抓取的动态流量配额值，包括：

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

根据本发明的另一方面，提供了一种网页抓取的设备，包括：

动态流量配额值获取单元，适于获取在目标网站上进行网页抓取的动态流量配额值；

网页抓取单元，适于根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

可选地，所述动态流量配额值获取单元，包括：

网站访问数据获取单元，适于获取所述目标网站的受访问数据；

网站承受力确定单元，适于根据所述受访问数据，确定所述目标网站的抓取承受流量；

网页质量分布获取单元，适于获取所述目标网站内网页的网页质量分布；

任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

所述动态流量配额值获取单元，适于根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

可选地，所述网站访问数据获取单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

可选地，所述网站承受力确定单元，包括：

访问量确定子单元，适于根据所述受访问数据，确定所述目标网站的可承受访问总量；

所述网站承受力确定单元，适于根据所述可承受总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

可选地，所述访问量确定子单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

可选地，所述网页质量分布获取单元，适于：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

可选地，所述网页质量分布获取单元，包括：

网页质量分布获取子单元，适于获取所述目标网站内所有已收录网页的网页质量分布；

所述任务流量获取单元，包括：

任务流量获取子单元，适于获取的所述目标网站内所有已收录网页的网页质量分布的总和，根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

可选地，还包括：

任务比例因子获取单元，适于获取一个或多个任务比例因子；

所述任务流量获取子单元，适于：

根据所述网页质量分布的总和与一个或多个所述任务比例因子的乘积，确定抓取目标网站的任务流量。

可选地，所述任务比例因子获取单元，适于：

获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中网页总数的比例。

可选地，所述任务比例因子获取单元，适于：

获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中网页总数的比例。

可选地，所述任务比例因子获取单元，适于：

在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中网页总数的比例。

可选地，还包括：

单位时间系数获取单元，适于根据抓取目标网站的任务总时间确定单位时间系数；

所述任务流量获取子单元，适于：

根据所述网页质量分布的总和与一个或多个所述任务比例因子，以及所述单位时间系数的乘积，确定抓取目标网站的任务流量。

可选地，还包括：

任务流量调整单元，适于当所述任务流量大于所述抓取承受流量，且两者的差大于预置的阈值时，通过调整所述任务比例因子，和/或所述单位时间系数，调整所述任务流量，直至所述任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

可选地，所述动态流量配额值获取单元，适于：

当所述任务流量大于所述抓取承受流量，且两者的差小于预置的阈值时，将所述任务流量确定为在所述目标网站上进行网页抓取的动态流量配额值。

可选地，所述动态流量配额值获取单元，包括:

网页质量分布获取单元，适于获取所述目标网站内网页的网页质量分布；

任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

所述动态流量配额值获取单元，适于根据所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

根据本发明的网页抓取的方法可以获取在目标网站上进行网页抓取的动态流量配额值；根据所述动态流量配额值，对所述目标网站上的网页进行抓取。由此解决了爬虫程序无限制的抓取导致过多占用网站资源的问题。实现了在对网站的抓取压力允许的情况下，对网站的网页数据进行有效的抓取，以减少搜索引擎的爬虫程序与被抓取站点的冲突。使爬虫程序抓取行为与搜索引擎更新需求得到合理的平衡。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的网页抓取的方法的流程图；

图2示出了根据本发明一个实施例的确定网站抓取流量配额的方法的流程图；

图3示出了根据本发明一个实施例的确定抓取流量的方法的流程图；

图4示出了根据本发明一个实施例的确定网站子频道抓取流量配额的方法的流程图；

图5示出了根据本发明一个实施例的网页抓取的设备的示意图；

图6示出了根据本发明一个实施例的确定网站抓取流量配额的设备的示意图；

图7示出了根据本发明一个实施例的确定抓取流量的设备的示意图；

图8示出了根据本发明一个实施例的确定网站子频道抓取流量配额的设备的示意图。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本发明公开的示例性实施例，然而应当理解，可以以各种形式实现本发明公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本发明公开的范围完整的传达给本领域的技术人员。

为了便于说明，首先定义如表1中所示的参数以及参数的说明：

表1

实施例一

请参见图1，为本发明实施例提供的网页抓取的方法的流程图，如图所示，本发明实施例提供的网页抓取的方法可以包括以下步骤：

S110：获取在目标网站上进行网页抓取的动态流量配额值；

在爬虫程序对目标网站中的网页进行抓取的过程中，为了避免对同一网站无限制的抓取，而导致影响网站的正常访问等情况的发生，通常需要对爬虫程序在目标网站上的抓取流量或者频率进行一定的限定，动态流量配额值便是对爬虫程序在目标网站上的抓取流量的一种限定。在目标网站上进行网页抓取的动态流量配额值，可以理解为在爬虫程序执行抓取任务时，在单位时间内对同一网站的进行抓取的流量的限额，例如将对动态流量配额值限制为300万条/日。在本步骤S110中，可以获取在目标网站上进行网页抓取的动态流量配额值。

在获取在目标网站上进行网页抓取的动态流量配额值时，可以通过如下方法实现：

首先获取目标网站的受访问数据，然后可以根据所述受访问数据，确定目标网站的抓取承受流量；获取目标网站内网页的网页质量分布；根据目标网站内网页的网页质量分布，确定抓取目标网站的任务流量；进而根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，确定在目标网站上进行网页抓取的动态流量配额值。

其中，可以根据搜索引擎对目标网站的访问统计数据，确定目标网站的受访问数据。根据所述受访问数据，确定目标网站的抓取承受流量时，可以根据受访问数据，首先确定目标网站的可承受访问总量；根据可承受总量与预置的抓取压力系数，来确定目标网站的抓取承受流量。具体的，可以根据搜索引擎收集的目标网站的访问统计数据，以及搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，来共同确定目标网站的可承受访问总量，再乘以预置的抓取压力系数，作为目标网站的抓取承受流量。

目标网站内网页的网页质量分布的获取，可以根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。目标网站内网页的网页质量分布qi，可以理解为对目标网站内网页的网页质量的评分情况。网页质量分布可以通过网页的pagerank，和/或网页的链接深度，来确定，如可以根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；然后对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。归一化处理，可以使目标网站内网页的质量评分归一化到(0,1]这个区间内。

对与搜索引擎来说，可以获取述目标网站内所有已收录网页的网页质量分布，进而获取目标网站内所有已收录网页的网页质量分布的总和，根据目标网站内所有网页的网页质量分布的总和，确定抓取目标网站的任务流量。具体的可以获取一个或多个任务比例因子；如获取目标网站中，待抓取的网页数占目标网站中已收录网页总数的比例；和/或，获取目标网站中不重复的网页数量占目标网站中网页总数的比例。然后根据网页质量分布的总和与一个或多个任务比例因子的乘积，确定抓取目标网站的任务流量。

其中获取所述目标网站中，待抓取的网页数占所述目标网站中网页总数的比例可以获取所述目标网站中，抓取历史中更新的网页数，和/或，目标网站中新产生的网页数，占目标网站中网页总数的比例。获取目标网站中不重复的网页数量占目标网站中网页总数的比例，可以在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为不重复的网页数量占所述目标网站中网页总数的比例。

此外，还可以根据抓取目标网站的任务总时间确定单位时间系数；在确定抓取目标网站的任务流量时，可以根据网页质量分布的总和与一个或多个任务比例因子，以及单位时间系数的乘积，确定抓取目标网站的任务流量。

当根据抓取目标网站的任务流量和网站的抓取承受流量确定抓取目标网站的任务流量时，可以在任务流量大于抓取承受流量，且两者的差大于预置的阈值时，通过调整任务比例因子，和/或单位时间系数，来调整任务流量，直至任务流量小于或等于抓取承受流量，或两者的差小于预置的阈值。实现对动态流量配额值的动态调整。当任务流量大于抓取承受流量，且两者的差小于预置的阈值时，可以将任务流量确定为在目标网站上进行网页抓取的动态流量配额值。

此外另一方法中也可以只根据抓取目标网站的任务流量，获取在目标网站上进行网页抓取的动态流量配额值。此时可以首先获取目标网站内网页的网页质量分布；根据目标网站内网页的网页质量分布，确定抓取目标网站的任务流量；根据抓取目标网站的任务流量，确定在目标网站上进行网页抓取的动态流量配额值。

对本发明实施例一各个步骤的更加具体的实现的描述，可以参考本发明实施例二中步骤S210至S240中的确定网站抓取流量配额的内容，以及可以与实施例三中确定抓取流量的方法中的对应部分的内容相互参照。

S120：根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

在确定在目标网站上进行网页抓取的动态流量配额值后，可以根据所确定的动态流量配额值在目标网站上进行以动态流量配额值为限的流量抓取。当然如果抓取需求比网站的抓取承受流量大很多时，可以通过简化抓取需求，或者对抓取的数据进行更严格的筛选后，再进行抓取。

以上对本发明实施例一提供的网页抓取的方法进行了详细的介绍，通过该方法可以获取在目标网站上进行网页抓取的动态流量配额值；根据动态流量配额值，对目标网站上的网页进行抓取，实现了在对网站的抓取压力允许的情况下，对网站的网页数据进行有效的抓取，以减少搜索引擎的爬虫程序与被抓取站点的冲突。

实施例二

请参见图2，为本发明实施例二提供的确定网站抓取流量配额的方法的流程图，如图所示，本发明实施例提供的确定网站抓取流量配额的方法可以包括以下步骤：

S210：获取待抓取目标网站的受访问数据；

首先可以获取待抓取目标网站的受访问数据，待抓取目标网站的受访问数据可以是网站的某日的点击量数据，如表1中的参数C，获取到待抓取目标网站的受访问数据后，可以根据目标网站的受访问数据推出待抓取目标网站的访问承受力。

目标网站的受访问数据可以从多方面获取，如可以通过网站排名公布数据中获取。另外，用户浏览网页常常是通过浏览器软件进行的，所以也可以对用户通过浏览器浏览的网页进行统计，再根据浏览器在当前市场上的占有率，确定网站的访问承受力。如通过浏览器统计到某网站的每日访问量为150万次，而该浏览器的当前市场占有率为15%，则可以确定该网站的日访问总量为1000万次，即该网站的访问承受力为至少1000万次。

还可以根据搜索引擎对目标网站的访问统计数据，确定目标网站的受访问数据，这是因为在用户浏览网页的过程中，经常需要通过搜索引擎来访问网页，即通过搜索引擎提供的搜索结果进行跳转来访问网页，搜索引擎可以对访问的网页进行统计，进而对通过搜索引擎访问网站的点击量进行统计，即根据搜索引擎统计的目标网站的访问统计数据，确定目标网站的受访问数据。具体的，可以通过搜索引擎访问目标网站的访问量，除以该搜索引擎的市场占有率，作为该网站的受访问数据。如统计到用户通过搜索引擎跳转访问某网站的每日访问量为150万次，而该搜索引擎的当前市场占有率为15%，则可以确定该网站的日访问总量为1000万次，即该网站的访问承受力为至少1000万次。

此外，也可以结合使用多种方法或途径，来获取更加精确的目标网站的受访问数据。例如结合使用上述的两种方法，即将客户端浏览器软件的统计数据，与搜索引擎统计数据结合起来，可以同时确定用户通过搜索引擎跳转，以及非搜索引擎跳转访问目标网站的数据，将两者结合起来可以获取更加精确的目标网站的受访问数据。需要说明的是，网站的受访问数据，一般以单位时间内网站的受访问次数来表示，如前述的描述中，是以网站的每日访问量来描述的，当然，也可以根据具体应用情况使用其他的时间单位，如一小时内网站的受访问次数，本发明对此并没有限制。

S220：根据所述受访问数据，确定所述目标网站的抓取承受流量；

获取到目标网站的受访问数据后，可以根据获取到的受访问数据，确定目标网站的抓取承受流量。网站的抓取承受流量，可以理解为单位时间内网站能够承受的爬虫程序抓取流量，其中的单位时间，同样可以视具体应用情况而定，以下以日作为一个单位时间来描述本方法。

在实际应用中，可以直接将获取到的单位时间内网站的访问量作为网站的抓取承受流量。但网站提供的服务常常以用户浏览为主，如果直接将获取到的网站的单位时间访问量作为网站的抓取承受流量，有可能会超出网站对于爬虫程序抓取的承受上限，因此，在获取目标网站的受访问数据乘以预置的抓取压力系数，得到目标网站的抓取承受流量。预置的抓取压力系数，可以是一个百分比系数，其取值范围为(0,1)。例如某网站的通过搜索引擎跳转的每日访问量为150万次，预置的抓取压力系数为30%，则最后确定的目标网站的抓取承受流量为45万次每日。

预置的抓取压力系数，可以根据受访问数据的来源的不同采取灵活的设置，如上例中，网站的受访问数据为通过搜索引擎跳转的每日访问量，而这种受访问数据实际上只是该网站所能承受的访问总量的一部分，因此，预置的抓取压力系数可以是设置一个相对较高的值。如果能够获取比较精确的、接近于网站的实际能够承受的访问总量的受访问数据，则可以将预置的抓取压力系数可以是设置一个相对较低的值。

在另一种实现方式下，可以根据目标网站受访问数据，确定目标网站的可承受访问总量；然后根据目标网站的可承受访问总量与预置的抓取压力系数，确定目标网站的抓取承受流量。要想获取比较接近实际情况的目标网站的可承受访问总量，一个比较好的方法是尽量参考多方面的来源获取目标网站受访问数据，如可以根据浏览器的统计，获取用户直接访问网站的访问量；同时通过搜索引擎的统计，获取用户通过搜索引擎搜索结果的跳转访问网站的访问量；搜索引擎的市场占有率；以及网站的冗余流量等来共同确定目标网站的可承受访问总量。其中网站的冗余流量是指网站的冗余访问承受力，可以根据长期监测的网站访问峰值等获得，也可以根据经验值获取。举例来说，某网站的通过搜索引擎跳转的每日访问量为150万次，该搜索引擎的市场占有率为15%，此外，该网站还有一半的流量为用户直接访问量，即用户直接访问的流量与搜索引擎跳转访问该网站的流量相当，且该网站还有50%的冗余流量，则可以确定该网站单位时间（每日）的可承受访问总量为：

150÷15%÷50%×150%=3000万次/日

即该网站的每日可承受访问总量为3000万次/日。如果预置的抓取压力系数为5%，则可以确定该网站的抓取承受流量为：

3000×5%=150万次/日

这个示例中，由于参考了多方面的来源获取目标网站受访问数据，所获取的目标网站的可承受访问总量，更加接近于网站实际能够承受的总流量，预置的抓取压力系数设置为一个相对较低的值，即相对于上一实例中的30%，本示例中抓取压力系数设置为5%。

如表1中，C代表目标网站某日的点击量，可以是网站所有页面在当日搜索结果中被点击的次数，而目标网站的抓取承受流量则可以理解关于参数C的一个函数，即目标网站的抓取承受流量可以记为f(C)。

S230：获取所述目标网站内网页的网页质量分布；

通过步骤S210以及S220，获取了目标网站的抓取承受流量，这个目标网站的抓取承受流量可以理解为根据网站的访问数据获取的，网站能够承受爬虫程序抓取的预测值。另一方面，还需要知道爬虫程序对网站进行抓取的任务情况，即抓取目标网站的任务流量。获取爬虫程序抓取目标网站的任务流量，本发明实施例主要依据了目标网站内网页的网页质量分布，如表1中的参数qi。这里，目标网站内网页的网页质量分布qi，可以理解为对目标网站内网页的网页质量的评分情况。网页质量分布可以通过网页的pagerank，和/或网页的链接深度，来确定，如可以根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；然后对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。归一化处理，可以使目标网站内网页的质量评分归一化到(0,1]这个区间内。例如，目标网站内有如下网页，以及网页对应的pagerank(也称为网页的PR值，取1至10的正整数)，链接深度(depth，根据网页的链接深度取正整数)，如表2所示：

表2

网页	PR值	PR÷10×0.7	depth	1/depth×0.3	质量分布
						网页1	10	0.7	1	0.3	1
网页2	7	0.49	3	0.1	0.59
						网页3	7	0.49	3	0.1	0.59
网页4	6	0.42	5	0.06	0.48
						网页5	8	0.56	2	0.15	0.71

由于同时使用了pagerank以及网页链接深度来确定网页的质量分布，表2中，可以在计算时，为网页的pagerank和链接深度设置不同的权值，这样由于PR的取值为1至10的正整数，链接深度为根据网页的链接深度取的正整数，通过归一化和赋予权重，得到了网页1至网页5中，各个网页的质量分布情况。当然，在实际应用中，也可以以其他的方式来获取网页的质量分布，如单独使用网页的PR值，或者网页的链接深度来获取网页的质量分布，还可以在浏览器中预置评分模块，由用户通过评分模块在浏览网页时对每个网页进行打分，进而搜索引擎收集用户对每个网页的打分，对打分进行统计并做归一化处理后得到网页的质量分布。当然也可以将这种用户打分的方式，结合到上述以pagerank以及网页链接深度来确定网页的质量分布的方法中，来实现另一种获取网页的质量分布的方法，其实现过程与上述示例类似，在此不再赘述。

此外，根据抓取任务的不同，在获取目标网站网页的网页质量分布时，可以是获取目标网站内所有已收录网页的网页质量分布，也可以获取目标网站内部分需要抓取的目标网页的网页质量分布，在后续步骤中会有详细的介绍。

S240：根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

接下来可以根据目标网站内网页的网页质量分布，确定抓取目标网站的任务流量。具体的，可以首先获取的目标网站内网页的网页质量分布的总和，根据目标网站内网页的网页质量分布的总和，确定抓取目标网站的任务流量。

根据爬虫程序任务策略或抓取目标的不同，在获取目标网站网页的网页质量分布时，可以针对不同的范围。

爬虫程序的抓取需求可以来自于两个方面：一方面是抓取历史中更新的网页，即搜索引擎已经抓取过网站中的网页，其中一部分又发生了更新，搜索引擎需要对这部分更新的网页再次抓取。如表1中m代表当前已收录的网站的网页数，若其中更新的网页的占比为a，则抓取历史中更新的网页的数量为(a×m)。另一方面是新发现的尚未抓取过的网页，其数量为表1中的参数n。综合这两个方面的抓取需求，爬虫程序的抓取任务需要抓取网页的数量可以是：

(a×m)+n

当抓取任务针对的是网站的这两种网页时，可以获取目标网站内所有已收录网页的网页质量分布qi，进而获取的目标网站内所有已收录网页的网页质量分布qi的总和，即：

根据目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。已收录网页的网页质量分布的总和，可以直接作为抓取目标网站的任务流量，此外，还可以获取一个或多个任务比例因子；根据网页质量分布的总和与一个或多个任务比例因子的乘积，确定抓取目标网站的任务流量。其中，任务比例因子可以根据自身的性质不同，在确定抓取目标网站的任务流量的过程中起到不同的作用。

所获取的一个或多个任务比例因子，可以是以下任务比例因子：

获取目标网站中，待抓取的网页数占目标网站中网页总数的比例；

和/或，

获取目标网站中，不重复的网页数量占目标网站中网页总数的比例；

其中待抓取的网页数占目标网站中已收录网页总数的比例这一任务比例因子，可以用：

表示，在爬虫程序对目标网站的网页进行抓取的过程中，可以仅对抓取历史中更新的网页以及新发现的尚未抓取过的网页进行抓取，而这两种网页的与已收录网页总数的比值则可以作为任务比例因子，与目标网站内所有已收录网页的网页质量分布qi的总和相乘，即

两者相乘所得到的结果作为抓取目标网站的任务流量，更加精确的反应了该次抓取目标网站的任务所需的流量。在实际的抓取任务中，抓取历史中更新的网页，和目标网站中新产生的网页不一定同时存在，因此获取这一任务比例因子时，可以根据实际情况，获取目标网站中抓取历史中更新的网页数和/或目标网站中新产生的网页数，占所述目标网站中网页总数的比例。

此外，还可以获取目标网站中，不重复的网页数量占目标网站中网页总数的比例，即表1中的参数u，作为另一任务比例因子。在爬虫程序对目标网站的抓取过程中，常常可以对重复的页面进行识别，对重复的页面仅抓取一次。因此可以通过这一任务比例因子，进一步对抓取目标网站的任务流量中重复页面进行进一步滤除，使抓取目标网站的任务所需的流量更加精确。此时可以根据：

加入不重复的网页数量占所述目标网站中网页总数的比例这一任务比例因子，并确定抓取目标网站的任务流量。

具体的，在获取不重复的网页数量占目标网站中网页总数的比例（如表1中的参数u）时可以利用网页信息指纹识别技术，在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中网页总数的比例。

另外，爬虫程序抓取目标网站的任务常常需要一段时间来完成，而任务所需的流量往往是单位时间内抓取目标网站所分配的流量，因此还可以引入根据网页抓取任务所需时间确定的单位时间系数，设爬虫程序抓取目标网站的任务需要的时间为T（如爬虫程序抓取目标网站的任务需要10天），则可以根据：

来确定每个单位时间内（如每日）抓取目标网站的任务流量。由于目标网站的抓取承受流量也可以以单位时间内的流量来描述，因此，抓取目标网站的任务流量可以采用相同的单位，以便于比较，如都采用(万次/日)作为描述单位。

S250：根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的流量配额；

需要说明的是，确定所述目标网站的抓取承受流量，以及确定抓取目标网站的任务流量，两者的执行顺序可以是任意的，即可以先执行步骤S210与S220，然后执行步骤S230与S240；也可以先执行步骤S230与S240，再执行步骤S210与S220。不论哪种顺序，都可以获取目标网站的抓取承受流量，以及抓取目标网站的任务流量。

在爬虫程序对网页进行抓取的过程中，为了避免对同一网站无限制的抓取，而导致影响网站的正常访问等情况的发生，通常需要对爬虫程序在目标网站上的抓取流量或者频率进行一定的限定，流量配额便是其中一种。在目标网站上进行网页抓取的流量配额，可以理解为在爬虫程序执行抓取任务时，在单位时间内对同一网站的进行抓取的流量或频率的限额，例如将对目标流量配额限制为300万条/日。在本发明实施例一提供的方法中，可以根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，来确定对目标网站上进行网页抓取的流量配额。

在获取到目标网站的抓取承受流量，以及抓取目标网站的任务流量后，可以根据这两者确定在目标网站上进行网页抓取的流量配额。具体的可以对两者进行比较，将较小的一个作为在目标网站上进行网页抓取的流量配额。例如将目标网站的抓取承受流量以f(C)表示，而抓取目标网站的任务流量以：

表示时，可以将：

作为在目标网站上进行网页抓取的流量配额。其中Min代表在两个以上参数中进行比较，取其中最小的参数作为运算结果。

另外，由于网站的可承受流量常常具有一定的弹性空间，在目标网站的抓取承受流量，与任务流量相差不大时，可以以任务流量作为在目标网站上进行网页抓取的流量配额。即当任务流量大于抓取承受流量，且两者的差小于预置的阈值时，可以将任务流量确定为在目标网站上进行网页抓取的流量配额。当任务流量大于网站的抓取承受流量，且两者的差大于预置的阈值时，可以通过调整任务比例因子，和/或单位时间系数，调整任务流量，直至任务流量小于或等于抓取承受流量，或两者的差小于预置的阈值，调整任务比例因子，实质上是简化抓取需求，或者对抓取的数据进行更严格的筛选的过程，而调整单位时间系数，实质上是调整爬虫程序执行抓取目标网站的任务的时间。

以上对本发明实施例二提供的确定网站抓取流量配额的方法进行了详细的介绍，通过该方法可以根据待抓取目标网站的受访问数据，确定目标网站所能够承受的爬虫程序对其进行抓取的抓取承受流量；并且可以根据目标网站内网页的网页质量分布，确定抓取目标网站任务的任务流量；进而根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，确定在目标网站上进行网页抓取的流量配额。由此解决了爬虫程序无限制的抓取导致过多占用网站资源的问题。实现了在对网站的抓取压力允许的情况下，对网站的网页数据进行有效的抓取，以减少搜索引擎的爬虫程序与被抓取站点的冲突。使爬虫程序抓取行为与搜索引擎更新需求得到合理的平衡。

实施例三

请参见图3，为本发明实施例三提供的确定抓取流量的方法的流程图，如图所示，本发明实施例提供的确定抓取流量的方法可以包括以下步骤。

S310：根据目标网站属性特征获取任务比例因子；

S320：基于所述任务比例因子及目标网站内的网页质量分布总和，确定抓取目标网站的任务流量。

其中，所获取的任务比例因子可以是获取目标网站中，待抓取的网页数占目标网站中已收录网页总数的比例；和/或，获取目标网站中，不重复的网页数量占目标网站中网页总数的比例。获取目标网站中待抓取的网页数占目标网站中已收录网页总数的比例可以是，获取目标网站中，抓取历史中更新的网页数，和/或目标网站中新产生的网页数，占目标网站中已收录网页总数的比例。获取目标网站中，不重复的网页数量占目标网站中网页总数的比例可以是，在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为不重复的网页数量占目标网站中网页总数的比例。

而后，可以基于一个或多个任务比例因子与目标网站内的网页质量分布总和的乘积，确定抓取目标网站的任务流量。网页质量分布总和可以通过如下方式确定：根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布；根据获得的各个网页对应的质量分布，确定网页质量分布总和。

此外，还可以根据抓取目标网站的任务总时间确定单位时间系数；在基于所述任务比例因子及目标网站内的网页质量分布总和，确定抓取目标网站的任务流量时，可以根据网页质量分布的总和与一个或多个任务比例因子，以及单位时间系数的乘积，确定抓取目标网站的任务流量。

在获取到抓取目标网站的任务流量后，还可以根据抓取目标网站的任务流量，对目标网站进行网页抓取。当所确定的任务流量过大时，可以通过调整任务比例因子，和/或单位时间系数，调整抓取目标网站的任务流量，将抓取目标网站的任务流量调整到目标网站能够承受的范围内。调整任务比例因子，实质上是简化抓取需求，或者对抓取的数据进行更严格的筛选的过程，而调整单位时间系数，实质上是调整爬虫程序执行抓取目标网站的任务的时间。

以上对本发明实施例三提供的确定抓取流量的方法进行了介绍，该方法的更具体的实现以及应用举例可以与实施例二相互参照。通过该方法可以根据目标网站属性特征获取任务比例因子；基于任务比例因子及目标网站内的网页质量分布总和，确定抓取目标网站的任务流量。从而使爬虫程序对网站进行抓取时，对所需的抓取流量进行了精确的确定，对网站的网页数据进行有效的抓取，以减少搜索引擎的爬虫程序与被抓取站点的冲突。

实施例四

前述各个实施例都是以网站为出发点对具体的实现方式进行的介绍，但在很多网站中，常常同时存在多个子站点或者子频道，此时，可以将网站的子站点或子频道看作是一个独立的网站，同时应用本发明实施例提供的类似上述方法，可以对网站中存在的子站点或者子频道进行频道承受流量的获取，即根据各子频道的受访问数据获取各子频道的子频道承受流量，根据各子频道内网页的网页质量分布，确定各子频道的子频道任务流量；所不同的是，此时可以根据子频道承受流量，和子频道任务流量确定各子频道的抓取权重；结合整个目标网站的流量配额，以及各子频道的抓取权重，来确定各子频道的频道配额。最后根据各子频道对应的所述频道配额，对各个子频道内的网页进行抓取。下面对此进行详细的介绍。

请参见图4，为本发明实施例四提供的确定网站子频道抓取流量配额的方法的流程图，如图所示，本发明实施例提供的确定网站子频道抓取流量配额的方法可以包括以下步骤：

S410：获取目标网站各子频道承受流量；

具体实现时，对于目标网站的子频道而言，由于可以作为独立的网站看待，同一目标网站中各个子频道的用户访问量等受访问数据可以分别统计出来，因此，获取子频道的抓取承受流量的具体实现方式，可以与实施例一的步骤S110以及S120中所述的获取目标网站的抓取承受流量的实现方式相同。也即可以根据目标网站各子频道的受访问数据，获取目标网站各子频道承受流量，具体的，可以根据搜索引擎统计的对目标网站各子频道的受访问数据，获取目标网站各子频道承受流量。具体在确定子频道承受流量时，可以根据目标网站各子频道的受访问数据，确定目标网站各子频道的子频道承受访问总量，然后根据子频道的子频道承受访问总量与预置的频道压力系数，确定目标网站各子频道承受流量。具体的实现过程可以参见实施例一或实施例二，这里不再赘述。

S420：根据各子频道内网页的网页质量分布，确定各子频道任务流量；

对子频道进行抓取时的子频道任务流量，实际上是一种根据既往抓取历史，以及网页质量获取的抓取子频道任务的流量的预测值。在确定子频道任务流量之前，同样可以先获取各子频道内网页的网页质量分布，具体的获取方式，也可以与实施例一中步骤S230中所述的获取网页质量分布的相同方式。而确定各子频道任务流量的实现方式，可以与步骤S140中确定目标网站的任务流量的方式相同。例如，可以根据各子频道内网页的pagerank，和/或网页的链接深度，确定各子频道内网页的评分，对各子频道内多个网页的评分进行归一化处理，获得各个网页对应的质量分布，根据获得的各子频道内网页的网页质量分布，确定各子频道任务流量。具体实现仍可参见实施例一中的介绍，这里不再赘述。

S430：根据所述子频道承受流量，和所述子频道流量计算各子频道对应的抓取权重；

在获取到子频道承受流量以及子频道任务流量之后，在本发明实施例四中，还可以计算出各个子频道对应的抓取权重。也就是说，对于各个子频道而言，分别可以从可承受流量以及预测的子频道任务流量中选择其中较小者作为参考值，这样各个子频道分别对应一个参考值，然后并不是直接将该参考值作为各个子频道的流量配额，而是首先根据这些参考值计算出各个子频道的权重，例如，可以将各个子频道的参考值相加，每个子频道的权重就等于该子频道自身的参考值在该加和值中所占的比例。例如，子频道1、2、3，其中，子频道1的参考值为n1，子频道2的参考值为n2，子频道3的参考值为n3，则子频道1的权重为n1/（n1+n2+n3），子频道2的权重为n2/（n1+n2+n3），子频道3的权重为n3/（n1+n2+n3）。

S440：根据目标网站总流量配额，以及各子频道抓取权重，确定各子频道配额。

在计算完各个子频道的权重之后，就可以再用各自的权重乘以所属网站的总流量配额，即可得到子频道的配额。其中，关于目标网站的总流量配额，可以参见实施例一中的记载，这里不再赘述。

具体实现时，还可以根据抓取各子频道的任务总时间确定单位时间系数，然后将目标网站总流量配额与各子频道权重占比，以及单位时间系数的乘积作为对对应子频道进行抓取的子频道配额。最终，就可以根据各子频道配额对各个子频道内的网页进行抓取。

通过本发明实施例四提供的确定网站子频道抓取流量配额的方法，可以根据获取到的子频道承受流量，和子频道任务流量计算各子频道对应的抓取权重；根据目标网站总流量配额，以及各子频道抓取权重，确定各子频道配额，在减少搜索引擎的爬虫程序与被抓取站点的冲突的同时，可以将更合理的将抓取流量分配给各子频道，实现了对目标网站各子频道更加合理的浏览分配。

与本发明实施例一提供的网页抓取的方法相对应，本发明实施例一还提供了网页抓取的设备，请参见图5，该设备可以包括：

动态流量配额值获取单元510，适于获取在目标网站上进行网页抓取的动态流量配额值；

网页抓取单元520，适于根据动态流量配额值，对目标网站上的网页进行抓取。

其中动态流量配额值获取单元510可以包括：

网站访问数据获取单元，适于获取目标网站的受访问数据；

网站承受力确定单元，适于根据受访问数据，确定目标网站的抓取承受流量；

网页质量分布获取单元，适于获取目标网站内网页的网页质量分布；以及，任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

在这种实现方式下，动态流量配额值获取单元510可以根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，确定在目标网站上进行网页抓取的动态流量配额值。

具体的，网站访问数据获取单元可以根据搜索引擎对目标网站的访问统计数据，确定目标网站的所述受访问数据。

其中的网站承受力确定单元可以包括：

访问量确定子单元，适于根据受访问数据，确定目标网站的可承受访问总量；

网站承受力确定单元，可以根据可承受总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

在这种实现方式下，访问量确定子单元可以根据搜索引擎对目标网站的访问统计数据，搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，来确定目标网站的可承受访问总量。

具体的，网页质量分布获取单元可以根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

网页质量分布获取单元可以包括：

网页质量分布获取子单元，获取目标网站内所有已收录网页的网页质量分布；

在这种实现方式下，任务流量获取单元可以包括：

任务流量获取子单元，适于获取的目标网站内所有已收录网页的网页质量分布的总和，根据目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

在这种实现方式下该设备还可以包括：

任务比例因子获取单元，适于获取一个或多个任务比例因子；

所述任务流量获取子单元，适于：

根据网页质量分布的总和与一个或多个任务比例因子的乘积，确定抓取目标网站的任务流量。

其中，任务比例因子获取单元可以获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中网页总数的比例。

具体实现时，任务比例因子获取单元可以获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中网页总数的比例。

具体实现时，任务比例因子获取单元可以在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中网页总数的比例。

在另一种实现方式下，该设备还可以包括：

单位时间系数获取单元，适于根据抓取目标网站的任务总时间确定单位时间系数；

此时，任务流量获取子单元可以根据网页质量分布的总和与一个或多个所述任务比例因子，以及单位时间系数的乘积，确定抓取目标网站的任务流量。

此外该设备还可以包括任务流量调整单元，适于当任务流量大于所述抓取承受流量，且两者的差大于预置的阈值时，通过调整所述任务比例因子，和/或单位时间系数，调整任务流量，直至任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

动态流量配额值获取单元510可以在任务流量大于抓取承受流量，且两者的差小于预置的阈值时，将任务流量确定为在所述目标网站上进行网页抓取的动态流量配额值。

另外，动态流量配额值获取单元510可以包括：

网页质量分布获取单元，适于获取目标网站内网页的网页质量分布；

任务流量获取单元，适于根据目标网站内网页的网页质量分布，确定抓取目标网站的任务流量；

动态流量配额值获取单元510可以根据抓取目标网站的任务流量，确定在目标网站上进行网页抓取的动态流量配额值。

与本发明实施例二提供的确定网站抓取流量配额的方法相对应，本发明实施例二还提供了确定网站抓取流量配额的设备，请参见图6，该设备可以包括：

网站访问数据获取单元610，获取待抓取目标网站的受访问数据；

网站承受力确定单元620，根据受访问数据，确定目标网站的抓取承受流量；

网页质量分布获取单元630，获取目标网站内网页的网页质量分布；

任务流量获取单元640，根据目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

流量配额确定单元650，根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，确定在目标网站上进行网页抓取的流量配额。

在另一种实现方式下，网站访问数据获取单元610，适于：

根据搜索引擎对目标网站的访问统计数据，确定目标网站的受访问数据。

此外，网站承受力确定单元620还可以包括：

访问量确定子单元，适于根据受访问数据，确定目标网站的可承受访问总量；

在这种实现方式下，网站承受力确定单元220，可以根据可承受访问总量与预置的抓取压力系数，确定目标网站的抓取承受流量。

访问量确定子单元还可以用于根据搜索引擎对目标网站的访问统计数据，搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定目标网站的可承受访问总量。

在实际应用中，网页质量分布获取单元630可以根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

并对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

在另一种实现方式下，网页质量分布获取单元630还可以包括：

网页质量分布获取子单元，可以获取目标网站内所有已收录网页的网页质量分布；

此时，任务流量获取单元640可以包括：

任务流量获取子单元，适于获取的所述目标网站内所有已收录网页的网页质量分布的总和，根据目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

在这种实现方式下，该设备还可以包括：任务比例因子获取单元，适于获取一个或多个任务比例因子；

此时，任务流量获取子单元，可以根据网页质量分布的总和与一个或多个任务比例因子的乘积，确定抓取目标网站的任务流量。

其中，任务比例因子获取单元可以获取不同的任务比例因子，如：

获取目标网站中，待抓取的网页数占目标网站中已收录网页总数的比例；

和/或，

获取目标网站中，不重复的网页数量占目标网站中网页总数的比例。

在这种实现方式下，任务比例因子获取单元，可以获取目标网站中，抓取历史中更新的网页数，和/或，目标网站中新产生的网页数，占目标网站中网页总数的比例。

任务比例因子获取单元还可以在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中网页总数的比例。

在另一种实现方式下，该设备还可以包括单位时间系数获取单元，根据抓取目标网站的任务总时间确定单位时间系数；

此时，任务流量获取子单元640可以根据网页质量分布的总和与一个或多个任务比例因子，以及单位时间系数的乘积，确定抓取目标网站的任务流量。

此外，该设备还可以包括任务流量调整单元，在任务流量大于抓取承受流量，且两者的差大于预置的阈值时，通过调整任务比例因子，和/或单位时间系数，调整任务流量，直至任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

流量配额确定单元650可以在任务流量大于抓取承受流量，且两者的差小于预置的阈值时，将任务流量确定为在目标网站上进行网页抓取的流量配额。

以上对本发明实施例提供的确定网站抓取流量配额的设备进行了详细的介绍，该设备可以通过网站访问数据获取单元610获取待抓取目标网站的受访问数据；网站承受力确定单元620根据受访问数据，确定目标网站的抓取承受流量；网页质量分布获取单元630获取目标网站内网页的网页质量分布；任务流量获取单元640，根据目标网站内网页的网页质量分布，确定抓取目标网站的任务流量；流量配额确定单元650，根据目标网站的抓取承受流量，以及抓取目标网站的任务流量，确定在目标网站上进行网页抓取的流量配额。通过该设备可以在抓取任务实施前，对网站的承受力，以及抓取任务所需的流量做出准确的预测，由此解决了爬虫程序无限制的抓取导致过多占用网站资源的问题。实现了在对网站的抓取压力允许的情况下，对网站的网页数据进行有效的抓取，以减少搜索引擎的爬虫程序与被抓取站点的冲突。

与本发明实施例三提供的确定抓取流量的方法相对应，本发明实施例三还提供了确定抓取流量的设备，请参见图7，该设备可以包括：

任务比例因子获取单元710，根据目标网站属性特征获取任务比例因子；

任务流量获取单元720，适于基于任务比例因子及目标网站内的网页质量分布总和，确定抓取目标网站的任务流量。

其中任务比例因子获取单元710可以获取目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中网页总数的比例，作为任务比例因子。

在这种实现方式下，任务比例因子获取单元710可以获取目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占目标网站中已收录网页总数的比例。

或者，任务比例因子获取单元可以在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占目标网站中网页总数的比例。

具体的，任务流量获取单元720可以基于一个或多个任务比例因子与目标网站内的网页质量分布总和的乘积，确定抓取目标网站的任务流量。

网页质量分布总和可以通过如下单元确定：

评分确定单元，根据目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

归一化处理单元，适于对目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布；以及，求和单元，根据获得的各个网页对应的质量分布，确定网页质量分布总和。

在另一种实现方式下，该确定抓取流量的设备还可以包括：

单位时间系数获取单元，适于根据抓取目标网站的任务总时间确定单位时间系数；

此时，任务流量获取单元720可以根据网页质量分布的总和与一个或多个任务比例因子，以及单位时间系数的乘积，确定抓取目标网站的任务流量。

该确定抓取流量的设备，还可以包括：

网页抓取单元，根据抓取目标网站的任务流量，对目标网站进行网页抓取。

通过上述确定抓取流量的设备，可以根据目标网站属性特征获取任务比例因子；基于任务比例因子及目标网站内的网页质量分布总和，确定抓取目标网站的任务流量。从而在爬虫程序对网站进行抓取时对所需的抓取流量进行了精确的确定，对网站的网页数据进行有效的抓取，减少了搜索引擎的爬虫程序与被抓取站点的冲突。

与本发明实施例四提供的确定网站子频道抓取流量配额的方法相对应，本发明实施例四还提供了确定网站子频道抓取流量配额的设备，请参见图8，该设备可以包括：

频道承受力获取单元810，获取目标网站各子频道承受流量；

频道任务量获取单元820，根据各子频道内网页的网页质量分布，确定各子频道任务流量；

抓取权重获取单元830，根据子频道承受流量，和子频道任务流量计算各子频道对应的抓取权重；

配额确定单元840，根据目标网站总流量配额，以及各子频道抓取权重，确定各子频道配额。

具体的，频道承受力获取单元810可以根据目标网站各子频道的受访问数据，获取目标网站各子频道承受流量。

在这种实现方式下，频道承受力获取单元810可以根据搜索引擎统计的对目标网站各子频道的受访问数据，获取目标网站各子频道承受流量。

在这种实现方式下，具体的，频道承受力获取单元可以根据目标网站各子频道的受访问数据，确定目标网站各子频道的频道承受访问总量；然后，根据频道承受访问总量与预置的频道压力系数，确定目标网站各子频道承受流量。

在另一种实现方式下，频道任务量获取单元820可以根据各子频道内网页的pagerank，和/或网页的链接深度，确定各子频道内网页的评分；进而，对各子频道内多个网页的所述评分进行归一化处理，获得各个网页对应的质量分布；再根据获得的各子频道内网页的网页质量分布，确定各子频道任务流量。

此外，配额确定单元840可以根据目标网站的网站访问数据，确定目标网站的抓取承受流量；

根据目标网站内网页的网页质量分布，确定抓取目标网站的网站任务流量；

根据目标网站的抓取承受流量，以及抓取目标网站的网站任务流量，确定在目标网站上进行网页抓取的目标网站总流量配额；以及，

根据上述步骤确定的所述目标网站总流量配额，以及各子频道抓取权重，确定各子频道配额。

该确定网站子频道抓取流量配额的设备还可以包括：

频道时间系数确定单元，适于根据抓取各子频道的任务总时间确定频道单位时间系数；

在这种实现方式下，配额确定单元840可以将目标网站总流量配额与各子频道权重占比，以及所述频道单位时间系数的乘积作为对对应子频道进行抓取的所述子频道配额。

此外，该确定网站子频道抓取流量配额的设备还可以包括：

频道网页抓取单元，可以根据各子频道配额对各个子频道内的网页进行抓取。

通过本发明实施例四提供的确定网站子频道抓取流量配额的设备，可以根据获取到的子频道承受流量，和子频道任务流量计算各子频道对应的抓取权重；根据目标网站总流量配额，以及各子频道抓取权重，确定各子频道配额，在减少搜索引擎的爬虫程序与被抓取站点的冲突的同时，可以将更合理的将抓取流量分配给各子频道。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的网页抓取的设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本申请可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (30)

1.一种网页抓取的方法，包括：

根据抓取目标网站的任务流量获取在所述目标网站上进行网页抓取的动态流量配额值，所述动态流量配额值为爬虫程序执行抓取任务时，在单位时间内对同一网站的进行抓取的流量的限额，所述动态流量配额值的配置基于目标网站内目标网页的质量分布或者基于目标网站内目标网页的质量分布和所述目标网站的受访问数据确定；

根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

2.如权利要求1所述的方法，所述获取在所述目标网站上进行网页抓取的动态流量配额值，包括：

获取所述目标网站的受访问数据；

根据所述受访问数据，确定所述目标网站的抓取承受流量；

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

3.如权利要求2所述的方法，所述获取所述目标网站的受访问数据，包括：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

4.如权利要求3所述的方法，所述根据所述受访问数据，确定所述目标网站的抓取承受流量，包括：

根据所述受访问数据，确定所述目标网站的可承受访问总量；

根据所述可承受访问总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

5.如权利要求4所述的方法，所述根据所述受访问数据，确定所述目标网站的可承受访问总量，包括：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

6.如权利要求5所述的方法，所述获取所述目标网站内网页的网页质量分布，包括：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

7.如权利要求6所述的方法，所述获取所述目标网站内网页的网页质量分布，包括：

获取所述目标网站内所有已收录网页的网页质量分布；

所述根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量，包括：

获取所述目标网站内所有已收录网页的网页质量分布的总和，根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

8.如权利要求7所述的方法，还包括：

获取一个或多个任务比例因子；

所述根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量，包括：

根据所述网页质量分布的总和与一个或多个所述任务比例因子的乘积，确定抓取目标网站的任务流量。

9.如权利要求8所述的方法，所述获取一个或多个任务比例因子，包括：

获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中已收录网页总数的比例。

10.如权利要求9所述的方法，所述获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例，包括：

获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中已收录网页总数的比例。

11.如权利要求9所述的方法，所述获取所述目标网站中，不重复的网页数量占所述目标网站中已收录网页总数的比例，包括：

在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中已收录网页总数的比例。

12.如权利要求9所述的方法，还包括：

根据抓取目标网站的任务总时间确定单位时间系数；

所述根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量，包括：

根据所述网页质量分布的总和与一个或多个所述任务比例因子，以及所述单位时间系数的乘积，确定抓取目标网站的任务流量。

13.如权利要求12所述的方法，还包括：

当所述任务流量大于所述抓取承受流量，且两者的差大于预置的阈值时，通过调整所述任务比例因子，和/或所述单位时间系数，调整所述任务流量，直至所述任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

14.如权利要求12所述的方法，所述根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值，包括：

当所述任务流量大于所述抓取承受流量，且两者的差小于预置的阈值时，将所述任务流量确定为在所述目标网站上进行网页抓取的动态流量配额值。

15.如权利要求1所述的方法，所述获取在所述目标网站上进行网页抓取的动态流量配额值，包括：

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

16.一种网页抓取的设备，包括：

动态流量配额值获取单元，适于根据抓取目标网站的任务流量获取在所述目标网站上进行网页抓取的动态流量配额值，所述动态流量配额值为爬虫程序执行抓取任务时，在单位时间内对同一网站的进行抓取的流量的限额，所述动态流量配额值的配置基于目标网站内目标网页的质量分布或者基于目标网站内目标网页的质量分布和所述目标网站的受访问数据确定；网页抓取单元，适于根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

17.如权利要求16所述的设备，所述动态流量配额值获取单元，包括：

网站访问数据获取单元，适于获取所述目标网站的受访问数据；

网站承受力确定单元，适于根据所述受访问数据，确定所述目标网站的抓取承受流量；

网页质量分布获取单元，适于获取所述目标网站内网页的网页质量分布；

任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

所述动态流量配额值获取单元，适于根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

18.如权利要求17所述的设备，所述网站访问数据获取单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

19.如权利要求18所述的设备，所述网站承受力确定单元，包括：

访问量确定子单元，适于根据所述受访问数据，确定所述目标网站的可承受访问总量；

所述网站承受力确定单元，适于根据所述可承受访问总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

20.如权利要求19所述的设备，所述访问量确定子单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

21.如权利要求20所述的设备，所述网页质量分布获取单元，适于：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

22.如权利要求21所述的设备，所述网页质量分布获取单元，包括：

网页质量分布获取子单元，适于获取所述目标网站内所有已收录网页的网页质量分布；

所述任务流量获取单元，包括：

任务流量获取子单元，适于获取所述目标网站内所有已收录网页的网页质量分布的总和，根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

23.如权利要求22所述的设备，还包括：

任务比例因子获取单元，适于获取一个或多个任务比例因子；

所述任务流量获取子单元，适于：

根据所述网页质量分布的总和与一个或多个所述任务比例因子的乘积，确定抓取目标网站的任务流量。

24.如权利要求23所述的设备，所述任务比例因子获取单元，适于：

获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中已收录网页总数的比例。

25.如权利要求24所述的设备，所述任务比例因子获取单元，适于：

获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中已收录网页总数的比例。

26.如权利要求24所述的设备，所述任务比例因子获取单元，适于：

在对目标网站的抓取历史中，获取和比对所抓取的网页的信息指纹；

根据比对的结果获取不重复的信息指纹数，占总指纹数的比例，作为所述不重复的网页数量占所述目标网站中已收录网页总数的比例。

27.如权利要求24所述的设备，还包括：

单位时间系数获取单元，适于根据抓取目标网站的任务总时间确定单位时间系数；

所述任务流量获取子单元，适于：

根据所述网页质量分布的总和与一个或多个所述任务比例因子，以及所述单位时间系数的乘积，确定抓取目标网站的任务流量。

28.如权利要求27所述的设备，还包括：

任务流量调整单元，适于当所述任务流量大于所述抓取承受流量，且两者的差大于预置的阈值时，通过调整所述任务比例因子，和/或所述单位时间系数，调整所述任务流量，直至所述任务流量小于或等于所述抓取承受流量，或两者的差小于预置的阈值。

29.如权利要求27所述的设备，所述动态流量配额值获取单元，适于：

当所述任务流量大于所述抓取承受流量，且两者的差小于预置的阈值时，将所述任务流量确定为在所述目标网站上进行网页抓取的动态流量配额值。

30.如权利要求16所述的设备，所述动态流量配额值获取单元，包括:

网页质量分布获取单元，适于获取所述目标网站内网页的网页质量分布；

任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

所述动态流量配额值获取单元，适于根据所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。