CN111756850B

CN111756850B - 一种服务于互联网数据采集的代理ip请求频率自动调整方法及系统

Info

Publication number: CN111756850B
Application number: CN202010604567.5A
Authority: CN
Inventors: 范晓忻; 文章; 吴广良
Original assignee: 3golden Beijing Information Technology Co ltd
Current assignee: 3golden Beijing Information Technology Co ltd
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2022-01-18
Anticipated expiration: 2040-06-29
Also published as: CN111756850A

Abstract

本发明涉及一种服务于互联网数据采集的代理IP请求频率自动调整方法，包括如下步骤：根据代理IP属性，通过监控代理IP当前的下载时间来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率；所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间。本发明的技术方案可以控制不同优劣程度的代理IP的请求访问频率；将好用的的代理的访问频率加大，将不好用的代理的访问频率减小或不使用；从宏观上减少垃圾代理的使用时间，从而增加单位时间内代理的任务下载量，提高爬虫的效率。

Description

一种服务于互联网数据采集的代理IP请求频率自动调整方法及系统

技术领域

本发明数据检索领域，特别涉及一种服务于互联网数据采集的代理IP请求频率自动调整方法。

背景技术

在互联网数据采集技术中，搭建IP代理池并使用不同的代理IP轮流进行爬取为常见技术。然而，公网代理具有不稳定和时效性差的特性，因此有必要对代理的使用进行优先级排序。CN 107957999 A，主要目的在于保证大部分使用的代理IP有效并多次利用，并在已有的代理IP失效时，通过动态获取新的代理IP，进行筛选替换失效的代理IP，但是其无法控制不同优劣程度的代理IP的请求访问频率，无法在代理可用状态下最大限度使用代理。

发明内容

为了解决本发明所提出的技术问题，本发明一方面提供了一种服务于互联网数据采集的代理IP请求频率自动调整方法，包括如下步骤：

根据代理IP属性，通过监控代理IP当前的下载时间来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率，提高单位时间内优质代理的使用率；

所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间；所述下载时间是代理IP实际发出一个请求到接受返回结果的时间。

本发明另外一方面提供了一种服务于互联网数据采集的代理IP请求频率自动调整系统，所述系统配配置为：

根据代理IP属性，通过监控代理IP当前的下载时间来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率；

所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间；所述下载时间是代理IP实际发出一个请求到接受返回结果的时间。本发明的有益效果在于，可以控制不同优劣程度的代理IP的请求访问频率；将好用的的代理的访问频率加大，将不好用的代理的访问频率减小或不使用；从宏观上减少垃圾代理的使用时间，从而增加单位时间内代理的任务下载量，提高爬虫的效率。

附图说明

图1.快速达到极限间隔时间示意图；

图2.自动频率调整流程图。

具体实施方式

在一些服务于互联网数据采集的代理IP请求频率自动调整方法的实施例中，包括如下步骤：

根据代理IP属性，通过监控代理IP当前的下载时间t来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率f；

其中，间隔时间T是代理从上次使用完毕到下次使用开始的中间时间；所述下载时间是代理IP实际发出一个请求到接受返回结果的时间；代理IP的请求访问频率f与间隔时间T的关系满足：f＝1/T。

在一些实施例中，代理IP属性包括但不限于等级名称level_name、等级level、间隔时间wait_time、最后访问时间last_time、代理类型proxy_type、网站名websit、原始间隔时间origin_wait_time中的一种或多种。

等级名称level_name根据代理的下载时间划分；等级level是等级名称的数字表示，比如1、2、3、4、5；间隔时间wait_time是代理的实时等待时间；最后访问时间last_time是代理最新的使用时间，该代理下次使用时间大于等于last_time+wait_time；代理类型proxy_type分为公网代理和稳定代理；网站名websit是代理对应的网站名称；原始间隔时间origin_wait_time是网站访问频率测试得到的最佳等待时间，在一些实施例中，所述原始间隔时间为常量，根据本发明的构思选择的计算该常量的算法均在本发明的保护范围之内。

在一些实施例中，当实时等待时间N等于极限间隔时间时，所述间隔时间T按照极限间隔时间调整，所述极限间隔时间表示公式为：

T＝N_极限＝n+(L-1)² (式1)

其中，N_极限表示是指每个等级的最大间隔时间，n表示原始间隔时间，L表示根据当前的下载时间t划分的等级数值(为大于1的自然数，其中数字越小等级越高)。当前等待时间N，是当前代理的实时等待时间，用N表示。

在另外一些实施例中，代理IP属性还包括等级计数level_count，所述等级计数level_count是当前等级下的连续访问次数。

在这些实施例中，当实时等待时间N小于极限间隔时间时，所述间隔时间T的调整过程的公式表示为：

其中，N表示实时等待时间，s为系数且0＜s＜1，优选的为0.1，C表示当前等级次数。

下面一些实施例进一步对本发明进行说明。

在这些实施例中，先明确两个时间：1.间隔时间，是代理从上次使用完毕到下次使用开始的中间时间。2.下载时间，是代理实际发出一个请求到接受返回结果的时间。本发明实施例中调整请求频率的目的之一是将好用的的代理的访问频率加大，将不好用的代理的访问频率减小或不使用。这样做的目的是从宏观上减少垃圾代理的使用时间，从而增加单位时间内代理的任务下载量，提高爬虫的效率。

在这些实施例中，为了达到实时控制代理IP的间隔时间T的目的，需要给代理IP添加如下所示属性，如表1所示：

表1代理IP添加的属性列表

level_name	等级名称
		level	等级
level_count	等级计数
		wait_time	间隔时间
last_time	最后访问时间
		proxy_type	代理类型
websit	网站名
		origin_wait_time	原始间隔时间

其中，【等级名称】根据代理的【下载时间】划分；【等级】是等级名称的数字表示；【等级计数】是当前等级下的连续访问次数；【间隔时间】是代理的实时【等待时间】；【最后访问时间】是代理最新的使用时间；【代理类型】分为公网代理和稳定代理；【网站名】是代理对应的网站名称；【原始间隔时间】是《网站访问频率测试》得到的最佳【等待时间】。

在这些实施例中，根据代理IP的属性，通过监控代理IP当前的【下载时间】来实时调整其【间隔时间】，从而控制不同优劣程度的代理的请求访问频率。计算方式如表2所示：

表2：计算方式

等级

等级数值L

等级对应下载时间

极限间隔时间

当前间隔时间

当前等级次数

时间增加减少幅度

正常

1

0s-1s

n+(L-1)^2

N

C

(0.1*C^2)s or 0s or 无穷大

稍慢

2

1s-2s

n+(L-1)^2

N

C

(0.1*C^2)s or 0s or 无穷大

慢

3

2s-4s

n+(L-1)^2

N

C

(0.1*C^2)s or 0s or 无穷大

很慢

4

4s-8s

n+(L-1)^2

N

C

(0.1*C^2)s or 0s or 无穷大

失效

5

8s-失败

无限大

N

C

无穷大

参考表2可知，字段组成含义如下：

等级，分为正常、稍慢、慢、慢和失效；

等级数值L，对应等级分别用1、2、3、4、5表示，变量设为L。

等级对应下载时间，0s-1s、1s-2s、2s-4s、4s-8s、8s-失败。

极限间隔时间，是指每个等级的最大间隔时间，假设原始间隔时间是n，则当前等级的最大间隔时间为n+(L-1)²，如果等级是失效，则间隔时间设置为无限大。

当前间隔时间，是当前代理的等待时间，用N表示。

当前等级次数，是在当前的等级下，连续请求的次数，等级改变则重新计数。

时间增加减少幅度，是根据每次下载时间和当前等级次数计算的频率调整幅度。调整包括如下情况：

(1)代理IP可用并且未达到极限间隔时间：代理IP的【等待时间】调整为N+0.1s*C²。

(2)代理IP可用并且等级升高：代理IP的【等待时间】调整为N+0.1s*C²。

(3)代理IP可用并且等级降低：代理IP的【等待时间】调整为N-0.1s*C²。

(4)代理IP可用并且间隔时间等于极限讲个时间：代理IP的【等待时间】不变

(5)代理IP不可用：代理IP的【等待时间】设置为无穷大。

在这些实施例中，频率调整涉及两个计算公式仅以解释如下。

1.极限间隔时间＝n+(L-1)²

因为代理IP是循环高频率使用的，因此过多的使用低下载率的代理IP会对整体的下载速度产生不好的影响。随着下载时间的递增，对速度的影响也越来越大。一次在设置间隔时间的时候使用指数递增的方式，如此尽量较少对低质量代理IP的使用，而又能在IP不足的情况下有效的利用低质量代理IP。

2.间隔时间调整幅度＝0.1s*C²

设置0.1s的基数是防止间隔时间剧烈波动，同时使用指数相乘的方式，根据变量C的变化情况(连续次数)。能确保不同等级间波动幅度较小，同一等级中却可以快速达到极限值。

其中，参考图1所示，基于本发明实施例的方法的自动频率调整流程可以包括多种形式，下面示例流程并不作为对本发明的保护范围的限定。如图2所示，服务器开始后，请求频率测试结果设置各个代理的原始间隔时间，初始化代理，生成代理库；客户端从代理库获得代理，客户端使用代理后请求反馈代理使用情况(包括下载时间等)，根据反馈的信息，计算代理频率(包括更新代理等级、间隔时间等)，判断代理等级是否是失效，如果失效则丢弃，否则返回代理库。

本说明书中描述的主题的实施方式和功能性操作可以在以下中实施：数字电子电路，有形实施的计算机软件或者固件，计算机硬件，包括本说明书中公开的结构及其结构等同体，或者上述中的一者以上的组合。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序，即，一个或多个有形非暂时性程序载体上编码的计算机程序指令的一个或多个模块，用以被数据处理设备执行或者控制数据处理设备的操作。

作为替代或者附加，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电信号、光信号或者电磁信号，上述信号被生成为编码信息以传递到用数据处理设备执行的适当的接收器设备。计算机存储介质可以是机器可读存储装置、机器可读的存储基片、随机或者串行存取存储器装置或者上述装置中的一种或多种的组合。

Claims

1.一种服务于互联网数据采集的代理IP请求频率自动调整方法，其特征在于，包括如下步骤：

所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间；所述下载时间是代理IP实际发出一个请求到接受返回结果的时间；

所述代理IP属性包括等级名称level_name、等级level、间隔时间wait_time、最后访问时间last_time、代理类型proxy_type、网站名websit、原始间隔时间origin_wait_time中的一种或多种；所述等级名称level_name根据代理的下载时间划分；所述等级level是等级名称的数字表示；所述间隔时间wait_time是代理的实时等待时间；所述最后访问时间last_time是代理最新的使用时间；所述代理类型proxy_type分为公网代理和稳定代理；所述网站名websit是代理对应的网站名称；所述原始间隔时间origin_wait_time是网站访问频率测试得到的最佳等待时间。

2.如权利要求1所述的方法，其特征在于，当等待时间N等于极限间隔时间时，所述间隔时间T按照极限间隔时间调整，所述极限间隔时间表示公式为：

T=N_极限=n+（L-1）²（式1）

其中，N_极限表示是指每个等级的最大间隔时间；n表示原始间隔时间；L表示等级数值，为大于1的自然数，其中数字越小等级越高。

3.如权利要求2所述的方法，其特征在于，所述代理IP属性还包括等级计数level_count，所述等级计数level_count是当前等级下的连续访问次数。

4.如权利要求3所述的方法，其特征在于，当等待时间N小于极限间隔时间时，所述间隔时间T的调整过程的公式表示为：

（式2）

其中，N表示当前代理的等待时间，s为系数且0＜s＜1，C表示当前等级次数。

5.一种服务于互联网数据采集的代理IP请求频率自动调整系统，其特征在于，所述系统包括至少一个处理器；以及存储器，其存储有指令，当通过至少一个处理器来执行该指令时，所述系统被配置为：

所述代理IP属性包括等级名称level_name、等级level、间隔时间wait_time、最后访问时间last_time、代理类型proxy_type、网站名websit、原始间隔时间origin_wait_time中的一种或多种；

所述等级名称level_name根据代理的下载时间划分；所述等级level是等级名称的数字表示；所述间隔时间wait_time是代理的实时等待时间；所述最后访问时间last_time是代理最新的使用时间；所述代理类型proxy_type分为公网代理和稳定代理；所述网站名websit是代理对应的网站名称；所述原始间隔时间origin_wait_time是网站访问频率测试得到的最佳等待时间。

6.如权利要求5所述的系统，其特征在于，所述系统被配置为：

当等待时间N等于极限间隔时间时，所述间隔时间T按照极限间隔时间调整，所述极限间隔时间表示公式为：

T=N_极限=n+（L-1）²（式1）

7.如权利要求6所述的系统，其特征在于，所述系统被配置为：

所述代理IP属性还包括等级计数level_count，所述等级计数level_count是当前等级下的连续访问次数。

当等待时间N小于极限间隔时间时，所述间隔时间T的调整过程的公式表示为：

（式2）

其中，N表示当前代理的等待时间，s为系数且0＜s＜1，C示当前等级次数。