CN104092660A

CN104092660A - 一种访问网络站点的方法

Info

Publication number: CN104092660A
Application number: CN201410255583.2A
Authority: CN
Inventors: 江潮; 贺建华; 蒋汉华
Original assignee: WUHAN TRANSN INFORMATION TECHNOLOGY Co Ltd
Current assignee: WUHAN TRANSN INFORMATION TECHNOLOGY Co Ltd
Priority date: 2014-06-09
Filing date: 2014-06-09
Publication date: 2014-10-08
Anticipated expiration: 2034-06-09
Also published as: CN104092660B

Abstract

一种访问网络站点的方法，包括：确定目标站点的访问限制；在当前IP触发所述访问限制之后，调取代理IP访问所述目标站点。本发明通过智能代理策略，可以有效地解决当IP受限无法访问目标站点的问题。

Description

一种访问网络站点的方法

技术领域

本发明涉及网络技术领域，尤其是涉及一种访问网络站点的方法。

背景技术

现在的网络站点，对于用户访问存在许多的限制，例如限制一个IP地址访问的次数，当访问次数达到限制后，网络站点就会拒绝该IP地址访问该网络站点；还例如限制一个IP的访问间隔，在该IP地址访问网络站点之后，网络网站在访问间隔内拒绝该IP地址的访问。受到网络站点的访问限制，许多的网络搜索引擎无法实时的获取到该网络站点的网络数据，无法获得更加完全的数据库支撑用户搜索。

发明内容

本发明的目的之一是提供一种访问网络站点的方法，以解决现有技术中由于访问限制无法访问网络站点的问题。

在一些说明性实施例中，所述访问网络站点的方法，包括：确定目标站点的访问限制；在当前IP触发所述访问限制之后，调取代理IP访问所述目标站点。

与现有技术相比，本发明的说明性实施例包括以下优点：

通过代理IP访问网络站点，可以有效的解决当前IP受到访问限制无法访问网络站点的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是按照本发明的说明性实施例的流程图；

图2是按照本发明的说明性实施例的流程图；

图3是按照本发明的说明性实施例的流程图。

具体实施方式

在以下详细描述中，提出大量特定细节，以便于提供对本发明的透彻理解。但是，本领域的技术人员会理解，即使没有这些特定细节也可实施本发明。在其它情况下，没有详细描述众所周知的方法、过程、组件和电路，以免影响对本发明的理解。

现在参照图1，图1示出了在一些说明性实施例中的流程图。

如图1所示，在一些说明性实施例中，公开了一种访问网络站点的方法，包括：

S11、确定目标站点的访问限制；

其中，在目标站点不存在访问限制的情况下，用户直接访问目标站点，或例如代理IP直接访问目标站点。

S12、在当前IP触发所述访问限制之后，调取代理IP访问所述目标站点。

其中，网络站点的网络限制例如限制当前IP访问次数，再例如限制当前IP访问间隔；限制当前IP访问次数是指网络站点设置在当前IP访问该网络站点的次数达到网络站点内设置有阈值时，该网络站点自动将用户所使用的当前IP列入其黑名单，禁止该IP再次访问本网络站点。限制当前IP访问间隔是指网络站点设置在当前IP访问该网络站点之后，将该IP列入其黑名单，在一定时长后，将该IP从黑名单中的移除，实现解禁。

用户访问网络站点受限后，采用代理IP访问该网络站点，由于IP不同不会受到网络站点的访问限制，用户可以通过代理IP访问网络站点，进行浏览或数据采集等操作。

代理IP可以理解用户对网络站点的IP地址，即用户使用其自身IP访问代理IP，通过代理IP访问网络站点。在一些情况下，用户自身的IP与网络站点所处的网络站点不同，例如用户为联通网络，网络站点为移动网络，用户访问网络站点的响应时间慢，通过代理IP可以有效的解决访问的响应时间慢的问题。

在一些说明性实施例中，步骤S12中调取代理IP是从有效代理库中进行调取。

其中，有效代理库中的代理IP的数量为一个或者多个，每个代理IP根据其访问目标站点的响应时间建立有优先级，例如表1；

优先级	代理IP	响应时间
			1	192.168.1.0	100MS
2	192.168.4.10	157MS
			3	192.168.101.101	1S
4	192.168.1.47	2S

表1

表1中代理IP：192.168.1.0的访问目标站点的响应时间为100MS，在有效代理库中的响应时间是最短的，因此它的优先级为1；在需要在有效代理库中调取代理IP时，优先调取优先级为1的代理IP，可以大大提高访问目标站点的效率。

在一些说明性实施例张工，所述当前IP为所述有效代理库中的代理IP时，还包括：在调取代理IP访问所述目标站点之前，将当前IP从所述有效代理库中移除。

在一些说明性实施例中，在所述目标站点的访问限制为限制当前IP访问间隔时，还包括：记录移除所述有效代理库中的代理IP的移除时长，当所述移除时长大于所述访问间隔时，将该代理IP重新加入所述有效代理库。

在一些说明性实施例中，所述有效代理库中的所有代理IP来自于代理白名单。

其中，白名单中包括若干满足用户的配置信息访问目标站点的代理IP。

如图2所示，在一些说明性实施例中，建立所述代理白名单的过程，包括：

S21、获取支持访问目标站点的至少一个代理IP；

S22、检验所述代理IP在满足配置信息的条件下，是否支持访问所述目标站点；

S23、将支持访问的代理IP加入到所述白名单。

在一些说明性实施例中，所述方法中还包括：当有效代理库中的代理IP的数量小于阈值时，将所述代理白名单中未加入所述有效代理库中的代理IP补充到所述有效代理库。

在一些说明性实施例中，所述方法中还包括：访问结束后，建立使用过的每个代理IP与所述目标站点的关联关系；当再次访问所述目标站点时，调取代理IP访问所述目标站点，包括：从与所述目标站点具有关联关系的代理IP访问所述目标站点。

如图3所示，在一些说明性实施例中，公开了一种访问网络站点的方法，包括：

S31、建立代理白名单；

1、确定目标站点，从目标站点的网页源代码中获取所有代理IP；

2、验证获取到的每个代理IP在用户设置的固定条件下访问目标站点，是否可以反馈预期结果；

例如判断访问目标站点反馈的状态码是否正常、无误。

3、以可以反馈预期结果的代理IP建立代理IP白名单。

例如以反馈的状态码正常、无误的代理IP建立代理IP白名单。

在一些说明性实施例中，代理IP白名单中的每个代理IP根据访问目标站点的响应时间建立有优先级，其中，响应时间最短的代理IP的优先级最高。

S32、建立有效代理库；

以优先级从高到低的顺序在代理IP白名单中提取一定数量的代理IP，建立有效代理库；

其中，有效库中的代理IP使用后，自动将该代理IP移除有效代理库；在有效代理库中的代理IP的数量低于设定的阈值时，自动从代理IP白名单中按照优先级顺序提取未加入有效代理库中的代理IP补充道有效代理库中。

S33、获取目标站点的访问限制规则；

1)，使用同一IP同一频率重复访问目标站点，记录该IP访问次数和每次的访问结果；

2)，在1)中的访问目标站点结束于第二次，则动态调整该IP的访问频率，分析各项数据。

通过上述1)和2)中的测试和分析方法，确定目标站点是否存在访问限制；在存在访问限制的情况下，判断该访问限制为限制当前IP访问次数，还是限制当前IP访问间隔。

在一些说明性实施例中，步骤S31、S32和S33为前期配置，在已知目标站点的访问限制时，以及建立有针对于目标站点的代理IP白名单和有效代理库的情况下，则无需再次进行步骤S31、S32和S33。

S34、制定目标站点的访问策略

根据目标站点的访问限制，制定访问策略；

1)、访问限制为限制当前IP访问次数；

在用户自身IP访问次数达到目标站点的访问次数时，设置用户IP再次访问目标站点时，通过有效代理库中的代理IP访问目标站点；

在当前IP为代理IP时，设置用户在有效代理库中更换代理IP访问目标站点。

其中，调取有效代理库中的代理IP按照优先级的先后顺序。使用过的代理IP直接从有效代理库中移除。

2)、访问限制为限制当前IP访问间隔

在用户自身IP访问目标站点之后，设置用户IP再次访问目标站点时，通过有效代理库中的代理IP访问目标站点。

其中，调取有效代理库中的代理IP按照优先级的先后顺序；

使用过的代理IP从有效代理库中移除，并记录该代理IP，在该代理IP的移除时长超过访问间隔后，将该代理IP重新加入到有效代理库中。

在一些说明性实施例中，记录成功访问过目标站点的代理IP，建立使用过的每个代理IP与所述目标站点的关联关系；当再次访问所述目标站点时，从与所述目标站点具有关联关系的代理IP访问所述目标站点。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种访问网络站点的方法，其特征在于，包括：

确定目标站点的访问限制；

在当前IP触发所述访问限制之后，调取代理IP访问所述目标站点。

2.根据权利要求1所述的方法，其特征在于，从有效代理库中调取所述代理IP访问所述目标站点。

3.根据权利要求2所述的方法，其特征在于，所述目标站点的访问限制为限制当前IP访问次数或限制当前IP访问间隔。

4.根据权利要求3所述的方法，其特征在于，所述当前IP为所述有效代理库中的代理IP时，还包括：

在调取代理IP访问所述目标站点之前，将当前IP从所述有效代理库中移除。

5.根据权利要求4所述的方法，其特征在于，在所述目标站点的访问限制为限制当前IP访问间隔时，还包括：

记录移除所述有效代理库中的代理IP的移除时长，当所述移除时长大于所述访问间隔时，将该代理IP重新加入所述有效代理库。

6.根据要求2所述的方法，其特征在于，所述有效代理库中的每个代理IP根据其访问所述目标站点的响应时间建立有优先级；

从有效代理库中调取所述代理IP访问所述目标站点，包括：

从有效代理库中调取所述优先级最高的代理IP访问所述目标站点。

7.根据权利要求2所述的方法，其特征在于，所述有效代理库中的所有代理IP来自于代理白名单。

8.根据权利要求7所述的方法，其特征在于，建立所述代理白名单的过程，包括：

获取支持访问目标站点的至少一个代理IP；

检验所述代理IP在满足配置信息的条件下，是否支持访问所述目标站点；

是，则将该代理IP加入到所述白名单。

9.根据权利要求7所述的方法，其特征在于，还包括：

当有效代理库中的代理IP的数量小于阈值时，将所述代理白名单中未加入所述有效代理库中的代理IP补充到所述有效代理库。

10.根据权利要求2所述的方法，其特征在于，还包括：

访问结束后，建立使用过的每个代理IP与所述目标站点的关联关系；

当再次访问所述目标站点时，调取代理IP访问所述目标站点，包括：

从与所述目标站点具有关联关系的代理IP访问所述目标站点。