CN112822306B - 代理ip动态管理方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及金融科技(Fintech)技术领域。本发明公开了一种代理IP动态管理方法、设备及介质，本发明针对目标代理IP可能存在的不同种类进行分类分池存储，从而初步提升了代理池的稳定性与有效性；针对不同优先级的代理池提供不同的有效性检测方式，避免了现有的采用独立有效性检测程序异步进行检测的方式为采集效率所带来的影响；通过采用有效性检测所得结果实现目标代理IP所属代理池的动态更新，使得能够时刻准确识别目标代理IP实际的有效性，进而减低误判，提高目标代理IP的使用效率，进一步形成了高可用的代理池；基于动态流动的目标代理IP按照优先级对数据采集任务提供针对性服务，避免了现有方式中代理池无差别对外提供服务，从而有效提高了数据采集任务的完成效率。

Description

代理IP动态管理方法、设备及计算机可读存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及代理IP动态管理方法、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

大规模采集互联网公开数据往往会消耗大量代理IP，现有的获取代理IP的方式通常有两种，一种是直接购买付费代理IP，另一种是获取互联网公开的免费代理IP。但付费代理IP的有效时间有限，而免费代理IP可能只有部分可用并且有效时间更短，因此无论是付费代理还是免费代理，都不能保证时刻有效可用，一旦选用了无效的代理IP，势必会影响到数据采集的工作效率，从而导致了基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

发明内容

本发明的主要目的在于提出一种代理IP动态管理方法、设备及计算机可读存储介质，旨在解决基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

为实现上述目的，本发明提供一种代理IP动态管理方法，所述代理IP动态管理方法包括：

获取目标代理IP，并确定所述目标代理IP的种类；

根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。

可选地，所述目标代理IP的种类包括付费代理IP，

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。

可选地，所述有效性检测方式包括第一有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；

若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。

可选地，所述目标代理IP的种类包括免费代理IP，

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；

判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；

若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。

可选地，所述有效性检测方式包括第二有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；

判断所述目标时延因子是否大于所述预设第二时延阈值；

若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。

可选地，所述基于所述目标代理池下的目标代理IP对数据采集任务提供针对性服务的步骤包括：

获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。

可选地，所述目标代理IP的种类包括免费代理IP和付费代理IP，

所述获取目标代理IP，并确定所述目标代理IP的种类的步骤包括：

每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；

每隔预设第二采集时间间隔，通过接口形式获取第二付费代理IP，并将所述第二代理IP标记为所述付费代理IP。

可选地，所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤之后，还包括：

检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；

若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。

此外，为实现上述目的，本发明还提供一种代理IP动态管理装置，所述代理IP动态管理装置包括：

代理IP种类确定模块，用于获取目标代理IP，并确定所述目标代理IP的种类；

代理IP分池存储模块，用于根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

代理IP有效性检测模块，用于根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。

可选地，所述目标代理IP的种类包括付费代理IP，

所述代理IP分池存储模块包括：

付费IP存储单元，用于在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。

可选地，所述有效性检测方式包括第一有效性检测方式，

所述代理IP分池存储模块包括：

第一方式确定单元，用于针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；

所述代理IP有效性检测模块包括：

有效时间判断单元，用于按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；

付费IP移动单元，用于若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。

可选地，所述目标代理IP的种类包括免费代理IP，

所述代理IP分池存储模块包括：

初始时延计算单元，用于在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；

初始时延判断单元，用于判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；

免费IP存储单元，用于若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。

可选地，所述有效性检测方式包括第二有效性检测方式，

所述代理IP分池存储模块包括：

第二方式确定单元，用于针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；

所述代理IP有效性检测模块包括：

目标时延计算单元，用于按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；

目标时延判断单元，用于判断所述目标时延因子是否大于所述预设第二时延阈值；

所属位置保持单元，用于若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。

可选地，所述代理IP有效性检测模块包括：

针对服务提供单元，用于获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。

可选地，所述目标代理IP的种类包括免费代理IP和付费代理IP，

所述代理IP种类确定模块包括：

免费IP标记单元，用于每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；

付费IP标记单元，用于每隔预设第二采集时间间隔，通过接口形式获取第二付费代理IP，并将所述第二代理IP标记为所述付费代理IP。

可选地，所述代理IP有效性检测模块还包括：

IP数量判断单元，用于检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；

最新IP补充单元，用于若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。

此外，为实现上述目的，本发明还提供一种代理IP动态管理设备，所述代理IP动态管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的代理IP动态管理程序，所述代理IP动态管理程序被所述处理器执行时实现如上所述的代理IP动态管理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有代理IP动态管理程序，所述代理IP动态管理程序被处理器执行时实现如上所述的代理IP动态管理方法的步骤。

本发明提供一种代理IP动态管理方法、设备及计算机可读存储介质。本发明考虑到了不同种类代理IP的差异性，针对目标代理IP可能存在的不同种类进行分类分池存储，从而初步提升了代理池的稳定性与有效性；针对不同优先级的代理池提供不同的有效性检测方式，避免了现有的采用独立有效性检测程序异步进行检测的方式为采集效率所带来的影响；通过采用有效性检测所得结果实现目标代理IP所属代理池的动态更新，使得能够时刻准确识别目标代理IP实际的有效性，进而减低误判，提高目标代理IP的使用效率，形成高可用的代理池；通过基于动态流动的目标代理IP按照优先级对数据采集任务提供针对性服务，避免了现有方式中代理池无差别对外提供服务，从而有效提高了数据采集任务的完成效率，解决了基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明代理IP动态管理方法第一实施例的流程示意图；

图3为本发明代理IP动态管理方法第一实施例中一具体实施例的代理池架构示意图；

图4为本发明代理IP动态管理方法第二实施例中一具体实施例的工作流程示意图；

图5为本发明代理IP动态管理装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

如图1所示，该代理IP动态管理装置可以包括：处理器1001，例如CPU，用户接口1003，网络接口1004，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及代理IP动态管理程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(程序员端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的代理IP动态管理程序，并执行下述代理IP动态管理方法中的操作：

获取目标代理IP，并确定所述目标代理IP的种类；

根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。

进一步地，所述目标代理IP的种类包括付费代理IP，

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。

进一步地，所述有效性检测方式包括第一有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；

若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。

进一步地，所述目标代理IP的种类包括免费代理IP，

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；

判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；

若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。

进一步地，所述有效性检测方式包括第二有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；

判断所述目标时延因子是否大于所述预设第二时延阈值；

若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。

进一步地，所述基于所述目标代理池下的目标代理IP对数据采集任务提供针对性服务的步骤包括：

获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。

进一步地，所述目标代理IP的种类包括免费代理IP和付费代理IP，

所述获取目标代理IP，并确定所述目标代理IP的种类的步骤包括：

每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；

每隔预设第二采集时间间隔，通过接口形式获取第二付费代理IP，并将所述第二代理IP标记为所述付费代理IP。

进一步地，所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤之后，处理器1001可以用于调用存储器1005中存储的代理IP动态管理程序，并执行下述代理IP动态管理方法中的操作：

检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；

若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。

基于上述硬件结构，提出本发明代理IP动态管理方法实施例。

为解决上述问题，本发明提供一种代理IP动态管理方法，即考虑到了不同种类代理IP的差异性，针对目标代理IP可能存在的不同种类进行分类分池存储，从而初步提升了代理池的稳定性与有效性；针对不同优先级的代理池提供不同的有效性检测方式，避免了现有的采用独立有效性检测程序异步进行检测的方式为采集效率所带来的影响；通过采用有效性检测所得结果实现目标代理IP所属代理池的动态更新，使得能够时刻准确识别目标代理IP实际的有效性，进而减低误判，提高目标代理IP的使用效率，形成高可用的代理池；通过基于动态流动的目标代理IP按照优先级对数据采集任务提供针对性服务，避免了现有方式中代理池无差别对外提供服务，从而有效提高了数据采集任务的完成效率，解决了基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

参照图2，图2为本发明代理IP动态管理方法第一实施例的流程示意图。所述代理IP动态管理方法包括；

步骤S10，获取目标代理IP，并确定所述目标代理IP的种类；

在本实施例中，本方法应用于终端设备。目标代理IP指的是终端在某一时间通过一种或多种渠道获取到的待存储的代理IP，通常包括多条代理IP。获取时间可由相关技术人员即时指定，也可由终端根据预设程序自动确定；获取渠道具体可包括通过接口获取，通过网络爬虫获取等。目标代理IP的种类具体可包括固定代理IP、免费代理IP和付费代理IP等的一种或多种。

终端在接收到用于指示获取新代理IP的指定，或是按照预设程序每隔一时间间隔通过相关渠道获取若干条数的目标代理IP，而每条目标代理IP的采集来源确定其对应的种类。

步骤S20，根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

在本实施例中，代理池用于维护和管理一组代理IP，为数据采集系统提供有效的代理IP访问。每一代理池可分配唯一代理池编号，其中，数据采集系统用于自动采集互联网公开数据，即网络爬虫。代理池的优先级代表对外提供数据采集服务的先后次序，具体可根据实际需求灵活设置，例如可设置高优先级与低优先级两类，也可设置高优先级、中优先级与低优先级三类等。需要说明的是，同一代理池中可能包含同一种类的代理IP，也可能包含不同种类的代理IP。初始代理池指的是终端首次对新获取到的目标代理IP进行存储时为其分配的所属代理池。有效性检测方式指的是检测目标代理IP的代理质量的方式，由于不同种类目标代理IP的代理质量不同，且随时间也可能发生变化，因此为了保障代理池的高可用性，需要动态检测代理池中的目标代理IP。另外，需要说明的是，在代理池中每一条目标代理IP以统一的存储格式进行存储，例如，除一般的IP及端口外，增加存储IP来源、来源评分、有效时间、延时因子及代理池编号。

终端首先根据不同的种类为目标代理IP选择对应的初始代理池分配方式，然后按照对应的初始代理池分配方式将每一条目标代理IP分配一代理池，将其按照统一的存储格式存储进该代理池，该代理池即为上述初始代理池。然后终端根据代理池优先级的区别确定每一代理池对应的有效性检测方式，以对存储进初始代理池的目标代理IP进行有效性检测。

步骤S30，根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。

在本实施例中，目标代理池指的是对存储于初始代理池中的目标代理IP进行有效性检测后，根据目标代理IP的实际代理质量为其重新分配的所属代理池，可能与初始代理池相同，也可能与初始代理池不同。需要说明的是，若某条目标代理IP的所属代理池发生了变化，也即是更换了不同优先级的代理池对其进行存储，则在更换存储位置后，对应的有效性检测方式也随之改变。另外，在对目标代理IP进行有效性检测之后，还可能会出现目标代理IP不满足最低的有效性标准，则可将其作为失效代理IP，并将其从代理池中删除，以避免失效代理IP给数据采集任务带来的负面影响。

作为一具体实施例，如图3所示，图3为代理池架构示意图。动态代理池主要由采集模块、存储模块、检测模块、服务模块等几个模块组成：

采集模块：定时采集各大代理网站的代理IP，具体可包括付费代理IP和免费代理IP等。

存储模块：负责存储采集模块获取的代理，包含N个代理池。由于一方面要避免代理IP重复，一方面还要标识代理IP的基本信息，而且需要动态实时处理每个代理，基于高并发低延时的业务需求驱动，一种比较高效和方便的存储方式就是使用Redis的有序集合。同时，为了标记代理IP的服务质量，实现代理IP的动态管理，针对性对外提供服务，代理IP采用分池动态存储。

检测模块：由于不同代理IP的质量不一样且随着时间而变化，为保障代理池的高可用性，需要定期动态检测存储模块代理池中的代理，一般付费采集IP质量相对较高，存储在高优先级的代理池在对外服务时利用采集目标网站进行检测，如果成功且未超过有效期则保持代理池编号不变，如果检测失败，则调整代理池编号进一步流向低优先级的代理池，并跟该池代理IP(一般为免费代理)一起采用固定网站进行检测。

服务模块：即对外服务接口，可以通过直连代理池优先级参数对应代理池数据库来直接获取，也可以通过外部接口服务向数据采集系统提供代理服务，随机返回代理池的一个可用代理IP，保证池内代理IP都可以被取到，实现负载均衡。同时，如果是高优先级代理池，需要进一步返回检测结果，用于代理IP的动态管理。

本发明提供一种代理IP动态管理方法。所述代理IP动态管理方法通过获取目标代理IP，并确定所述目标代理IP的种类；根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。本发明考虑到了不同种类代理IP的差异性，针对目标代理IP可能存在的不同种类进行分类分池存储，从而初步提升了代理池的稳定性与有效性；针对不同优先级的代理池提供不同的有效性检测方式，避免了现有的采用独立有效性检测程序异步进行检测的方式为采集效率所带来的影响；通过采用有效性检测所得结果实现目标代理IP所属代理池的动态更新，使得能够时刻准确识别目标代理IP实际的有效性，进而减低误判，提高目标代理IP的使用效率，形成高可用的代理池；通过基于动态流动的目标代理IP按照优先级对数据采集任务提供针对性服务，避免了现有方式中代理池无差别对外提供服务，从而有效提高了数据采集任务的完成效率，解决了基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

进一步地，基于上述图2所示的第一实施例，提出本发明代理IP动态管理方法的第二实施例。在本实施例中，所述目标代理IP的种类包括付费代理IP，所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。

在本实施例中，由于付费IP的质量和有效时间有一定保证，因此在进行入池存储时默认其有效性较高，直接入高优先代理池，也即是初始时刻即将代理池中的高等级代理池分配给付费代理IP作为初始存储位置。

进一步地，所述有效性检测方式包括第一有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；

若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。

在本实施例中，第一有效性检测方式指的是针对高优先级的代理池中的目标代理IP的有效性检测方式。付费代理IP在存储在高优先级的代理池后，若在对外服务中采集目标网站时采集失败，则终端需要判断该付费代理IP是否处于有效时间范围。若该付费代理IP处于有效时间范围，则说明该付费代理IP当前仍可用但服务质量已不满足高优先级代理池的要求，因此需要将该付费代理IP移动存储至低优先级的代理池中，之后采用低优先级的代理池对应的有效性检测方式对该付费代理IP进行检测；若该付费代理IP已超出有效时间范围，则说明该付费代理IP已失效，终端可将其标记为失效代理IP并将其从高优先级的代理池中删除。

进一步地，所述目标代理IP的种类包括免费代理IP，

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；

判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；

若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。

在本实施例中，时延因子是一种用来表征代理质量的定义，延时因子越低，代理质量越好，而衡量代理质量还可以是其他参数。初始时延因子指的是在存储免费代理IP之前所计算得到的免费代理IP的时延因子。预设第一时延阈值与预设第二时延阈均可根据实际需求灵活设置，但预设第二时延阈值必须大于预设第一时延阈值。

对于免费代理IP，由于质量不稳定且有效时间较短，因此需入库检测后再进行入池操作。终端利用免费代理IP并发访问多个固定网站，计算其初始时延因子。如果终端检测到初始时延因子小于或等于预设第一时延阈值，则说明该免费代理IP质量较好，将其存入高优先级的代理池中；如果终端检测到初始时延因子大于预设第一时延阈值，则进一步判断其是否小于第二时延阈值。若终端检测到初始时延因子大于预设第一时延阈值但小于预设第二时延阈值，则说明该免费代理IP具备可用性，可将其存储于低优先级的代理池中；如果终端检测到初始时延阈值大于或等于预设第二时延阈值，则可直接将其判定为失效代理IP并进行删除。

延时因子的计算公式可为：

延时因子＝平均连接时间/(平均连通率*平均稳定率)，其中，平均连通率为目标代理IP对于目标网站的连通成功比例，平均连接时间为目标代理IP对于目标网站的网站连接时间均值，平均稳定率指前后两次访问基准测试网站群的平均时延。

进一步地，所述有效性检测方式包括第二有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；

判断所述目标时延因子是否大于所述预设第二时延阈值；

若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。

在本实施例中，第二有效性检测方式指的是针对低优先级代理池中的目标代理IP的有效性检测方式。预设检测时间间隔指的是第二有效性检测方式的检测时间间隔，可根据实际需求灵活设置。目标时延因子指的是运用第二有效性检测方式计算低优先级代理池中的目标代理IP(通常为免费代理IP)的时延因子。固定网站指的是预先指定的网站，例如百度等。

终端定时对低优先级代理池中的免费代理IP进行有效性检测，通过每次将计算出的目标时延因子与预设第二时延阈值进行比较，若目标时延因子小于或等于预设第二时延阈值，则说明该免费代理IP的服务质量维持在正常水平，可继续存储在低优先级的代理池中；若目标时延因子大于预设第二时延阈值，则说明该免费代理IP的服务质量下降，终端可将其作为失效代理IP并删除。

作为一具体实施例，如图4所示。

首先，根据代理采集来源进行分池存储，对于付费IP，质量和有效时间有一定保证，延时因子赋值为0，直接入高优先代理池Ⅰ，对于免费IP，质量不稳定且有效时间较短，则进一步入库检测后再进行入池操作；

然后，利用免费代理并发访问多个固定网站，计算延时因子，如果小于预设阀值a，表示该免费代理质量较好，初始化有效时间为5分钟后并存入高优先代理池，如果大于阀值a，但是小于预设阀值b，则表示该免费代理具备可用性，初始化有效时间为3分钟后并存储在低优先代理池Ⅱ，否则直接判定为失效代理并进行删除；

对于高优先代理池Ⅰ的代理在采集目标网站时如果采集失败且处于有效时间范围内则存储在低优先代理池Ⅱ并对外提供服务，不再额外对高优先代理池Ⅰ进行有效性检验，对于低优先代理池Ⅱ则定时进行检测，如果小于预设阀值b，表示可以继续提供服务，否则直接删除；

删除代理的同时激活代理IP采集模块更新代理，形成动态代理池。按照代理类型区别进行检测，付费IP直接采用目标网站进行检测，减少了异步检测代理动作，提升检测效率，同时对代理进行分池动态管理，通过代理跨池流动多次检测，降低误判，提高代理的使用效率，进一步形成高可用代理池。

进一步地，本实施例为了实现代理池的高效易用，代理池IP采用分池动态存储，并统一规划单条代理IP的存储格式，除了一般的IP及端口外，增加IP来源、来源评分、有效时间、延时因子及代理池编号，用于针对性有效检测和对外提供服务；检测程序以访问目标采集网站为主固定网站为辅，加快对免费代理的检测周期，降低对付费代理的检测周期，对于访问目标采集网站失效代理单独隔离后再用固定网站异步检测；通过分池存储、分类检测、跨池流动等实现多种类型代理的动态管理，且通过代理跨池流动多次检测，降低误判，提高代理的使用效率。

进一步地，基于上述图2所示的第一实施例，提出本发明代理IP动态管理方法的第三实施例。在本实施例中，所述基于所述目标代理池下的目标代理IP对数据采集任务提供针对性服务的步骤包括：

获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。

在本实施例中，由于现有方式中未将代理池分类，付费代理IP与免费代理IP无差别对外提供服务，而由于目标采集网站封禁IP的策略不一样，数据采集任务对代理池的服务质量要求也不一样，因此若是继续无差别对外提供无毒，一方面存在代理池资源浪费，另一方面使用代理质量较差的代理IP采集封禁策略严格的网站时，采集效率也会大受影响，因此本发明需要提前获取封禁IP策略与服务质量要求，并根据这两项信息综合考量以从目标代理池中选出适用于当前场景的目标代理IP来对外提供服务。

进一步地，所述目标代理IP的种类包括免费代理IP和付费代理IP，步骤S10包括：

每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；

每隔预设第二采集时间间隔，通过接口形式获取第二付费代理IP，并将所述第二代理IP标记为所述付费代理IP。

在本实施例中，预设第一采集间隔指的是免费代理IP的获取时间间隔；预设第二采集时间间隔指的是付费代理IP的获取时间间隔。两者可以设置为相同时间间隔，也可不同，具体根据实际情况灵活设置。终端按照预设第一采集时间间隔与预设第二采集时间间隔定时采集各大代理网站的代理IP，其中付费代理一般通过接口形式获取，免费代理使用网络爬虫以多线程技术采集多个代理源公布的最新免费代理IP。

进一步地，所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤之后，还包括：

检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；

若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。

在本实施例中，预设数量阈值可根据实际需求灵活设置，具体可为每一代理池设置相同或不同的数量阈值。由于在对目标代理IP的有效性检测过程中可能会出现被检测的代理IP失效的情况，而对于失效的代理IP通常的做法是将其从代理池中删除，因此终端在删除失效代理IP后还需检测代理池中剩下的有效的目标代理IP数量是否充足，通常以设置数量阈值来判定。若删除失效代理IP后代理池中的有效代理IP数量不足，则终端则需自动获取新的代理IP以进行补充。

进一步地，本实施例根据对代理池质量要求选择合适优先级代理进行采集，减少代理浪费，降低采集失败概率，提升采集效率。

如图5所示，本发明还提供一种代理IP动态管理装置，所述代理IP动态管理装置包括：

代理IP种类确定模块10，用于获取目标代理IP，并确定所述目标代理IP的种类；

代理IP分池存储模块20，用于根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

代理IP有效性检测模块30，用于根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。

上述各程序模块所执行的方法可参照本发明代理IP动态管理方法各个实施例，此处不再赘述。

本发明还提供一种代理IP动态管理设备。

所述代理IP动态管理设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的代理IP动态管理程序，其中所述代理IP动态管理程序被所述处理器执行时，实现如上所述的代理IP动态管理方法的步骤。

其中，所述代理IP动态管理程序被执行时所实现的方法可参照本发明代理IP动态管理方法的各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有代理IP动态管理程序，所述代理IP动态管理程序被处理器执行时实现如上所述的代理IP动态管理方法的步骤。

其中，所述代理IP动态管理程序被执行时所实现的方法可参照本发明代理IP动态管理方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种代理IP动态管理方法，其特征在于，所述代理IP动态管理方法包括：

获取目标代理IP，并确定所述目标代理IP的种类，所述目标代理IP的种类至少包括：付费代理IP、免费代理IP；

根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；

根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级为数据采集任务提供针对性服务;

所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：

在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中；

在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；

判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；

若是，则在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。

2.如权利要求1所述的代理IP动态管理方法，其特征在于，所述有效性检测方式包括第一有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；

若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。

3.如权利要求1所述的代理IP动态管理方法，其特征在于，所述有效性检测方式包括第二有效性检测方式，

所述确定各所述代理池分别对应的有效性检测方式的步骤包括：

针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；

所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：

按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；

判断所述目标时延因子是否大于所述预设第二时延阈值；

若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。

4.如权利要求1所述的代理IP动态管理方法，其特征在于，所述基于所述目标代理池下的目标代理IP为数据采集任务提供针对性服务的步骤包括：

获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。

5.如权利要求1所述的代理IP动态管理方法，其特征在于，所述目标代理IP的种类包括免费代理IP和付费代理IP，

所述获取目标代理IP，并确定所述目标代理IP的种类的步骤包括：

每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；

每隔预设第二采集时间间隔，通过接口形式获取第二代理IP，并将所述第二代理IP标记为所述付费代理IP。

6.如权利要求1-4中任一项所述的代理IP动态管理方法，其特征在于，所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤之后，还包括：

检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；

若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。

7.一种代理IP动态管理设备，其特征在于，所述代理IP动态管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的代理IP动态管理程序，所述代理IP动态管理程序被所述处理器执行时实现如权利要求1至6中任一项所述的代理IP动态管理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有代理IP动态管理程序，所述代理IP动态管理程序被处理器执行时实现如权利要求1至6中任一项所述的代理IP动态管理方法的步骤。

Images