CN105162830A - 一种提高代理ip利用率的采集方法 - Google Patents

一种提高代理ip利用率的采集方法 Download PDF

Info

Publication number
CN105162830A
CN105162830A CN201510436629.5A CN201510436629A CN105162830A CN 105162830 A CN105162830 A CN 105162830A CN 201510436629 A CN201510436629 A CN 201510436629A CN 105162830 A CN105162830 A CN 105162830A
Authority
CN
China
Prior art keywords
agent
acquisition method
proxy
utilization rate
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510436629.5A
Other languages
English (en)
Inventor
孙海峰
王传超
邱继钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Group Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN201510436629.5A priority Critical patent/CN105162830A/zh
Publication of CN105162830A publication Critical patent/CN105162830A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Abstract

本发明公开了一种提高代理IP利用率的采集方法，属于数据采集领域。所述提高代理IP利用率的采集方法通过建立代理IP资源池对代理IP进行统一管理分配，采集程序调用资源池中的代理IP。与现有技术相比，本发明的提高代理IP利用率的采集方法将代理IP进行统一管理分配，能够提高代理IP利用率，使采集系统避开被封的情况，具有很好的推广应用价值。

Description

一种提高代理IP利用率的采集方法
技术领域
本发明涉及数据采集领域，具体地说是一种涉及搜索、数据分布式存储、数据采集、代理IP等技术的提高代理IP利用率的采集方法。
背景技术
代理IP（代理服务器）英文全称是（ProxyServer），其功能就是代理网络用户去取得网络信息。提供代理服务的电脑系统或其它类型的网络终端称为代理服务器（英文：ProxyServer）。现有技术中，一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源。
代理服务器不仅能显著提高浏览速度和效率，更重要的是：它还是Internet链路级网关所提供的一种重要的安全功能，能够突破自身IP访问限制，突破IP封锁，隐藏真实IP，有利于保障网络终端的隐私或安全，防止攻击。
目前有上百台服务器进行互联网采集，而云服务器网段只有几个。分析被封规则可知，现有技术是根据网段进行批量禁止访问的，这样就造成了大量的服务器闲置，再添加服务器也无济于事。
更换代理IP时，如何不让同一个代理IP被多台采集节点使用，并且采集程序能自动更换IP，已经成为采集中遇到的难题。
发明内容
本发明的技术任务是针对上述现有技术的不足，提供一种提高代理IP利用率的采集方法。该方法能够使采集系统避开被封的情况，有效地提高数据采集效率。
本发明的技术任务是按以下方式实现的：一种提高代理IP利用率的采集方法，其特点通过建立代理IP资源池对代理IP进行统一管理分配，采集程序调用资源池中的代理IP。
优选为优选，上述采集方法的具体步骤如下：
（1）通过代理IP接口，实时获取IP及端口；
（2）将代理IP及端口信息存入MongoDB中；
（3）通过MongoDB搜索，将代理IP进行可用性筛选；
（4）根据被封程度，采集程序配置获取代理IP的周期；
（5）更换代理IP，采集程序自动处于等待状态；
（6）将过期代理IP进行清除。
进一步的，步骤（5）中，采集程序可以根据时间间隔或者采集次数调用资源池中的代理IP。
与现有技术相比，本发明的提高代理IP利用率的采集方法具有以下有益效果：
（一）将代理IP进行统一管理分配，可以有效提高代理IP利用率，使采集系统避开被封的情况；
（二）本发明方法可运行于各种采集系统，具有易于实现、适应面广等特点，具有良好的推广应用价值。
附图说明
附图1是本发明提高代理IP利用率的采集方法的流程图。
具体实施方式
参照说明书附图以具体实施例对本发明的提高代理IP利用率的采集方法作以下详细地说明。
实施例：
为了快速搜索及分配资源池中的代理IP信息，进行以下几步部署：
第一步，部署MongoDB分布式存储节点，即，建立MongoDB分布式存储库；
第二步，安装分析过滤代理IP可用性系统；
第三步，调用MongoDB搜索接口；
第四步，配置管理采集程序更换代理IP的方式。
如附图1所示，本发明提高代理IP利用率的采集方法的具体步骤如下：
（1）通过代理IP接口，实时获取IP及端口；
（2）将代理IP及端口信息存入MongoDB中；
（3）搜索分析库中的IP可用性，即，通过MongoDB搜索，将代理IP进行可用性筛选；
（4）根据被封程度，采集程序配置获取代理IP的周期；
（5）采集程序根据时间间隔或者采集次数调用资源池中的代理IP，采集程序自动处于等待状态；
（6）将过期代理IP进行清除。

Claims (3)

1.一种提高代理IP利用率的采集方法，其特征在于：通过建立代理IP资源池对代理IP进行统一管理分配，采集程序调用资源池中的代理IP。
2.根据权利要求1所述的提高代理IP利用率的采集方法，其特征在于，具体步骤如下：
（1）通过代理IP接口，实时获取IP及端口；
（2）将代理IP及端口信息存入MongoDB中；
（3）通过MongoDB搜索，将代理IP进行可用性筛选；
（4）根据被封程度，采集程序配置获取代理IP的周期；
（5）更换代理IP，采集程序自动处于等待状态；
（6）将过期代理IP进行清除。
3.根据权利要求2所述的提高代理IP利用率的采集方法，其特征在于，步骤（5）中，采集程序根据时间间隔或者采集次数调用资源池中的代理IP。
CN201510436629.5A 2015-07-23 2015-07-23 一种提高代理ip利用率的采集方法 Pending CN105162830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510436629.5A CN105162830A (zh) 2015-07-23 2015-07-23 一种提高代理ip利用率的采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510436629.5A CN105162830A (zh) 2015-07-23 2015-07-23 一种提高代理ip利用率的采集方法

Publications (1)

Publication Number Publication Date
CN105162830A true CN105162830A (zh) 2015-12-16

Family

ID=54803583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510436629.5A Pending CN105162830A (zh) 2015-07-23 2015-07-23 一种提高代理ip利用率的采集方法

Country Status (1)

Country Link
CN (1) CN105162830A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254579A (zh) * 2016-09-30 2016-12-21 携程计算机技术（上海）有限公司 一种动态ip代理池及其搭建及管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039029A1 (fr) * 2002-10-25 2004-05-06 Ut Starcom (China) Co., Ltd. Gestion d'appels vocaux en technologie d'agents domestiques dynamiques pour l'ensemble du protocole ip
CN103929507A (zh) * 2014-04-28 2014-07-16 广东睿江科技有限公司 一种实现可离线化dns服务的方法及装置
CN104092660A (zh) * 2014-06-09 2014-10-08 武汉传神信息技术有限公司 一种访问网络站点的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039029A1 (fr) * 2002-10-25 2004-05-06 Ut Starcom (China) Co., Ltd. Gestion d'appels vocaux en technologie d'agents domestiques dynamiques pour l'ensemble du protocole ip
CN103929507A (zh) * 2014-04-28 2014-07-16 广东睿江科技有限公司 一种实现可离线化dns服务的方法及装置
CN104092660A (zh) * 2014-06-09 2014-10-08 武汉传神信息技术有限公司 一种访问网络站点的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254579A (zh) * 2016-09-30 2016-12-21 携程计算机技术（上海）有限公司 一种动态ip代理池及其搭建及管理方法
CN106254579B (zh) * 2016-09-30 2019-09-24 携程计算机技术（上海）有限公司 一种动态ip代理池及其搭建及管理方法

Similar Documents

Publication Publication Date Title
CN102355667B (zh) 移动智能终端系统中应用程序网络连接控制方法和系统
CN111600762B (zh) 一种网络拓扑结构生成方法、装置、设备及介质
CN104182288A (zh) 一种服务器集群系统功耗自动化测试的方法
CN104579887A (zh) 云网关、云网关创建配置系统及方法
CN107888613B (zh) 一种基于云平台的管理系统
CN104869155A (zh) 数据审计方法及装置
CN110647392A (zh) 一种基于容器集群的智能弹性伸缩方法
CN108924228B (zh) 基于边缘计算的工业互联网优化系统
EP3217738A1 (en) M2m node management method and apparatus, and computer storage medium
CN104182393A (zh) 基于hash表的关键字映射处理方法和装置
CN106200866B (zh) 一种应用冻结方法及移动终端
CN107479966A (zh) 一种基于多核心cpu的信令采集方法
CN113079049B (zh) 智能变电站网络报文自动归集分析方法、设备及介质
CN105337850A (zh) 一种物联网数据处理方法及物联网网关
CN105162830A (zh) 一种提高代理ip利用率的采集方法
CN104714875A (zh) 一种分布式的自动化采集的方法
CN109120731B (zh) 一种通用型通讯方法、系统及装置
CN114422404A (zh) 流量统计方法、装置、设备和存储介质
CN103118115B (zh) 面向云计算用户的虚拟机管理方法及装置
CN105490879A (zh) 一种大规模集成级网络的自动化分布式性能测试系统
WO2017193814A1 (zh) 一种业务链生成方法及系统
WO2022100146A1 (zh) 互联网性能监控方法及系统
CN109861846A (zh) 应用调用关系获取方法、系统及存储介质
CN106681894A (zh) 智能设备的监控方法和监控装置
CN104994137B (zh) 一种网络透明代理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151216

WD01 Invention patent application deemed withdrawn after publication