CN112583780B

CN112583780B - 使用代理ip访问网站数据的方法、装置、系统和设备

Info

Publication number: CN112583780B
Application number: CN201910945823.4A
Authority: CN
Inventors: 张鑫
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2023-04-07
Anticipated expiration: 2039-09-30
Also published as: CN112583780A

Abstract

本申请涉及一种使用代理IP访问网站数据的方法、装置、系统和设备，其中所述方法包括接收终端发送的限制访问网站的第一域名；查询并获取与所述第一域名对应的未被限制的代理IP；将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。本申请通过建立限制访问标签列表使单个代理IP可提供给多个不同域名的网站使用，同时为每个代理IP设置访问对应网站的冷却时间，降低网站对代理IP的限制几率，精确回收与释放代理IP，有效提高代理IP使用效率，降低成本。

Description

使用代理IP访问网站数据的方法、装置、系统和设备

技术领域

本申请涉及网络数据技术领域，尤其涉及一种使用代理IP访问网站数据的方法、装置、系统和设备。

背景技术

随着互联网的发展，数据是非常重要的一种资产，爬虫系统则是有效获取数据的重要途径之一，目前，很多网站采取限制访问技术，使用同一个代理IP去访问网站数据，往往很容易被网站识别拉黑到黑名单中(限制该代理IP的访问频率)，从而不能继续访问网站数据，因此，采用代理IP访问网站进行访问数据是有效途径之一，原理主要为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源。

现有技术中，采用代理IP爬取网站数据时，如果被限制访问，将会直接将该代理IP拉入黑名单中，直接弃置这些代理IP，不会分配到任何其他网站使用，造成了资源浪费。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种使用代理IP访问网站数据的方法、装置、系统和设备，通过建立限制访问标签列表使单个代理IP可提供给多个不同域名的网站使用，提高代理IP使用效率。

第一方面，本申请提供了一种使用代理IP访问网站数据的方法，包括：

接收终端发送的限制访问网站的第一域名；

查询并获取与所述第一域名对应的未被限制的代理IP；

将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。

进一步的，所述查询并获取与所述第一域名对应的未被限制的代理IP步骤包括：

查询并获取代理IP，其中，与所述代理IP对应的限制访问代理列表中未包含所述第一域名。

进一步的，所述查询并获取代理IP步骤包括：

创建限制访问域名列表，所述限制访问域名列表包括限制访问网站的域名及与所述域名对应的代理IP；

从服务器中获取代理IP；

判断所述获取的代理IP是否为所述限制访问域名列表中与所述第一域名对应的代理IP，若不是，则选择所述代理IP。

进一步的，所述从服务器中获取代理IP步骤包括：在所述服务器中随机获取或优先选取获取网站数据多的代理IP。

进一步的，所述方法还包括：

获取所述终端最后一次访问限制访问网站的限制访问时间，以及所述代理IP对应的冷却时间，其中，所述冷却时间为所述代理IP禁止访问所述第一域名的预设时间段；

根据所述第一域名、限制访问时间及冷却时间生成限制访问标签；

将所述限制访问标签添加到所述代理IP对应的限制访问代理列表中。

进一步的，所述限制访问标签包括：与所述第一域名关联的第二域名。

进一步的，所述方法还包括：从所述限制访问时间起经过所述冷却时间后：从所述代理IP限制访问代理列表中移除所述限制访问标签；从所述限制访问域名列表中移除所述代理IP及对应的限制访问域名。

第二方面，本申请提供了一种使用代理IP访问网站数据的装置，包括：

数据获取模块，用于接收终端发送的限制访问网站的第一域名；

代理IP获取模块，用于查询并获取与所述第一域名对应的未被限制的代理IP；

数据传输模块，用于将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。

另一方面，本申请提供了一种使用代理IP访问网站数据的系统，包括：

终端，用于当所述终端检测到限制访问时，将被限制访问的待访问网站的第一域名发送到服务器；

服务器，用于查询与所述第一域名对应的未被限制的代理IP；

所述终端还用于接收所述服务器发送的代理IP，并通过所述代理IP访问所述待访问网站。

本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行上述的方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，通过建立限制访问标签列表使单个代理IP可提供给多个不同域名的网站使用，同时为每个代理IP设置访问对应网站的冷却时间，降低网站对代理IP的限制几率，精确回收与释放代理IP，有效提高代理IP使用效率，降低成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种使用代理IP访问网站数据的方法流程示意图；

图2为本申请实施例提供的一种查询并获取代理IP流程示意图；

图3为本申请实施例提供的一种代理IP对应的的限制访问代理列表代码示意图；

图4为本申请实施例提供的一种将新的限制访问标签添加到代理IP对应的的限制访问代理列表代码示意图；

图5为本申请实施例提供的一种使用代理IP访问网站数据的装置示意图；

图6为本申请实施例提供的一种计算机内部结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种使用代理IP访问网站数据的方法流程示意图，参见图1，包括：

S1、接收终端发送的限制访问网站的第一域名。

具体的，当使用网络爬虫访问网站数据遭遇网站限制访问时，该网络爬虫会将限制访问网站的域名发送到服务器，例如www.example1.com，www.example2.com等。

S2、查询并获取与所述第一域名对应的未被限制的代理IP。

具体的，当网络爬虫将限制访问域名发送到服务器后，服务器会分配一个代理IP给该网络爬虫，网络爬虫使用代理IP访问该网站数据。如图2所示，S21、创建限制访问域名列表，所述限制访问域名列表包括限制访问网站的域名及与所述域名对应的代理IP。在分配代理IP前首先创建一个限制访问域名列表，该限制访问域名列表中存储有历史遇到限制访问的域名及服务器对应分配的代理IP，服务器每次接收到网络爬虫发送的限制访问域名时，就会将此限制访问域名与本次分配的对应代理IP存储在列表中。

S22、从服务器中获取代理IP。具体可以从服务器的代理IP池中选择一个或多个代理IP，在此可以从代理IP池中随机选择，也可以根据预设条件优先选择满足预设条件的代理IP；例如将预设条件设为优先选取获取网站数据多的代理IP，或者按照代理IP的评分进行选择，其中，可以根据代理IP网站获取数据的成功率、稳定性等参数信息，为每个代理IP进行评分，并根据评分进行排序，从中选取评分最高的一个代理IP，或者按照评分排序选择排序靠前的多个代理IP；为了避免网站对代理IP的访问限制，也可以将预设条件设为优先选取使用次数较少的代理IP，通过代理IP使用次数进行排序，从中选取使用次数最少的一个，或者选择使用次数相对较少的多个代理IP。

S23、判断所述获取的代理IP是否为所述限制访问域名列表中与所述第一域名对应的代理IP，若不是，则选择所述代理IP。

具体的，当服务器从代理IP池中获取了一个代理IP后，首先需要查看该代理IP是否在上述实施例中创建的限制访问域名列表中出现过，若没有出现过则说明该代理IP为首次使用，可以选择该代理IP访问第一域名的网站数据。若该代理IP在限制访问域名列表中出现过，再判断该代理IP在限制访问域名列表中对应的限制访问域名是否为当前待访问的第一域名，若是则说明该代理IP近段时间内访问过该第一域名对应的网站数据并且被该网站限制访问，需要重新选择其他代理IP，若不是则说明该代理IP访问过其他域名对应的网站数据并且被该网站显示访问，但是近期并未访问过第一域名对应的网站数据，因此可以选用该代理IP访问第一域名对应的网站数据。

S3、将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。

具体的，服务器获取到合适的代理IP后，将该代理IP发送到终端的网路爬虫，网络爬虫通过使用该代理IP访问限制访问网站的数据。在将该代理IP发送到终端网络爬虫的同时，服务器会记录网路爬虫被当前限制访问网站限制访问的时间，以及该代理IP对应的冷却时间，冷却时间即为该代理IP在设定时间内不能再次访问该限制访问网站。冷却时间可以根据空闲代理IP的数量由服务器智能设定，例如某段时刻服务器的代理IP池中绝大部分代理IP都处于工作状态，便可设置冷却时间较短，以确保有充足的代理IP可用，若绝大部分代理IP都处于空闲状态，便可设置冷却时间较长，不影响工作效率的前提下降低被限制访问的几率；也可根据需要人为设置冷却时间。

如图3所示，将记录的当前限制访问网站限制访问的时间、该代理IP对应的冷却时间以及之前存储的该限制访问网站的域名生成限制访问标签，并将生成的限制访问标签添加到该代理IP对应的限制访问代理列表中。也就是说，在分配该代理IP去访问限制访问网站前，该代理IP的限制访问代理列表中不包含待访问的限制访问域名，由于访问网站数据所需时间极短，与设置的冷却时间相比可忽略不计，所以不会出现在冷却时间内该代理IP在持续访问限制访问网站的情况。

每个代理IP都有与之对应的限制访问代理列表，限制访问代理列表中记录着该代理IP所有在冷却时间内包含访问的限制访问域名的限制访问标签。在图3的实例中，设代理IP为proxy1，可以看出proxy1的限制访问代理列表中记录着包含限制域名分别为www.example1.com，www.example2.com的限制访问标签，冷却时间设定为1小时，说明proxy1近期访问过限制访问域名为www.example1.com，www.example2.com的网站数据，在冷却时间内proxy1不能再被分配访问www.example1.com，www.example2.com域名的网站数据，降低proxy1被上述域名的网站限制访问的几率，提高了代理IP的利用效率。

如图4所示，当网络爬虫访问域名为www.example3.com的网站数据并被限制访问时，发现代理IP proxy1虽然近期访问过域名为www.example1.com，www.example2.com的网站并且处于冷却时间中，但proxy1的限制访问代理列表中并没有包含限制访问域名为www.example3.com的网站，此时可以将proxy1分配给网络爬虫访问www.example3.com的网站数据，并将该网络爬虫遭遇www.example3.com的域名及限制访问的时间和设定的冷却时间生成限制访问标签添加到代理IP proxy1的限制访问代理列表中。这样同一个代理IP可以同时为多个网站使用，且不会冲突，降低了成本。

当代理IP proxy1中的某个限制访问标签的冷却时间完毕后，从proxy1的限制访问代理列表中移除冷却完毕的限制访问标签，同时从限制访问域名列表中移除proxy1及对应的限制访问域名条目。例如，proxy1的限制访问代理列表中包含域名为www.example1.com的限制访问标签冷却时间完毕，服务器将此限制访问标签从proxy1的限制访问代理列表中移除，同时从限制访问域名列表中移除proxy1及对应的www.example1.com域名，以便服务器再次获取代理IP访问www.example1.com域名时，proxy1符合访问该域名网站数据的条件，可以作为候选代理IP之一，以后proxy1再次访问域名为www.example1.com的网站数据时，再次将该域名对应的限制访问标签添加到proxy1的限制访问代理列表中，同时将proxy1及对应的www.example1.com域名添加到限制访问域名列表中。通过冷却时间动态更新限制访问代理列表和限制访问域名列表，避免列表中存在的代理IP再次访问对应的域名导致被限制访问，提高了代理IP的利用效率。

优选的，限制访问标签中的域名可以为对应的限制访问网站的实际域名，也可以为人为设定的域名。其中，在以下情况下需要人为设定域名：当服务器检测到某个限制访问网站的域名与限制访问域名列表中的域名相关联或与该域名存在共享限制访问策略，将这两个域名进行标记，并为这两个域名人为设定一个域名统称。例如A网站与B网站同属同一家公司，两个网站对应的域名的限制访问策略相同，若网络爬虫被A网站限制访问时，在B网站一定也会被限制访问，故将A网站的域名与B网站的域名进行标记，并为这两个域名设定一个共同的域名名称，例如A网站域名为www.exampleA.com，B网站域名为www.exampleB.com，此时可以设定共同域名为www.exampleAB.com，在建立限制访问标签时，限制访问标签中的域名统一写为www.exampleAB.com，以避免某代理IP的限制访问代理列表中包含A网站的域名但不包含B网站的域名时继续访问B网站数据导致该代理IP被B网站限制访问，节省了代理IP资源。

如图5所示，本发明的一个实施例还公开了一种使用代理IP访问网站数据的装置，包括：

数据获取模块1，用于接收终端发送的限制访问网站的第一域名；

代理IP获取模块2，用于查询并获取与所述第一域名对应的未被限制的代理IP；

数据传输模块3，用于将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。

所述使用代理IP访问网站数据的装置包括处理器和存储器，上述数据获取模块、代理IP获取模块和数据传输模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来建立限制访问标签列表使单个代理IP可提供给多个不同域名的网站使用，提高代理IP使用效率。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述使用代理IP访问网站数据的方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述使用代理IP访问网站数据的方法。

如图6所示，本发明实施例提供了一种计算机设备70，计算机设备包括至少一个处理器701、以及与处理器701连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述的使用代理IP访问网站数据的方法。本文中的计算机设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：接收终端发送的限制访问网站的第一域名；查询并获取与所述第一域名对应的未被限制的代理IP；将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站。

所述查询并获取与所述第一域名对应的未被限制的代理IP步骤包括：查询并获取代理IP，其中，与所述代理IP对应的限制访问代理列表中未包含所述第一域名。

所述查询并获取代理IP步骤包括：创建限制访问域名列表，所述限制访问域名列表包括限制访问网站的域名及与所述域名对应的代理IP；从服务器中获取代理IP；判断所述获取的代理IP是否为所述限制访问域名列表中与所述第一域名对应的代理IP，若不是，则选择所述代理IP。

所述从服务器中获取代理IP步骤包括：在所述服务器中随机获取或优先选取获取网站数据多的代理IP。

所述方法还包括：获取所述终端最后一次访问限制访问网站的限制访问时间，以及所述代理IP对应的冷却时间，其中，所述冷却时间为所述代理IP禁止访问所述第一域名的预设时间段；根据所述第一域名、限制访问时间及冷却时间生成限制访问标签；将所述限制访问标签添加到所述代理IP对应的限制访问代理列表中。

所述限制访问标签包括：与所述第一域名关联的第二域名。

所述方法还包括：从所述限制访问时间起经过所述冷却时间后：从所述代理IP限制访问代理列表中移除所述限制访问标签；从所述限制访问域名列表中移除所述代理IP及对应的限制访问域名。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种使用代理IP访问网站数据的方法，其特征在于，包括：

接收终端发送的限制访问网站的第一域名；

查询并获取与所述第一域名对应的未被限制的代理IP；

将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站；

所述查询并获取与所述第一域名对应的未被限制的代理IP步骤包括：查询并获取代理IP，其中，与所述代理IP对应的限制访问代理列表中未包含所述第一域名；

所述方法还包括：

将所述限制访问标签添加到所述代理IP对应的限制访问代理列表中；

从所述限制访问时间起经过所述冷却时间后：从所述代理IP限制访问代理列表中移除所述限制访问标签。

2.根据权利要求1所述的方法，其特征在于，所述查询并获取代理IP步骤包括：

从服务器中获取代理IP；

3.根据权利要求2所述的方法，其特征在于，所述从服务器中获取代理IP步骤包括：在所述服务器中随机获取或优先选取满足服务器预设条件的代理IP。

4.根据权利要求1所述的方法，其特征在于，所述限制访问标签包括：与所述第一域名关联的第二域名。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：从所述限制访问时间起经过所述冷却时间后：

从所述限制访问域名列表中移除所述代理IP及对应的限制访问域名。

6.一种使用代理IP访问网站数据的装置，其特征在于，包括：

数据传输模块，用于将所述代理IP发送给所述终端，以使所述终端通过所述代理IP访问所述限制访问网站；

所述代理IP获取模块还用于：查询并获取代理IP，其中，与所述代理IP对应的限制访问代理列表中未包含所述第一域名；

所述装置还包括一模块，用于：

7.一种使用代理IP访问网站数据的系统，其特征在于，包括：

所述终端还用于接收所述服务器发送的代理IP，并通过所述代理IP访问所述待访问网站；

所述服务器还用于：查询并获取代理IP，其中，与所述代理IP对应的限制访问代理列表中未包含所述第一域名；

所述服务器还用于：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行权利要求1-5中任一项所述的方法。