CN109873882A - 一种ip代理池管理系统及其管理方法 - Google Patents
一种ip代理池管理系统及其管理方法 Download PDFInfo
- Publication number
- CN109873882A CN109873882A CN201910122558.XA CN201910122558A CN109873882A CN 109873882 A CN109873882 A CN 109873882A CN 201910122558 A CN201910122558 A CN 201910122558A CN 109873882 A CN109873882 A CN 109873882A
- Authority
- CN
- China
- Prior art keywords
- agent
- agent address
- address
- module
- pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开的一种IP代理池管理系统,包括:IP代理池模块,IP代理池模块用于存储若干IP代理地址及其代理信息;IP代理地址获取模块,IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;用户请求处理模块,用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。还公开了上述系统的管理方法。本发明系统可针对不同的应用场景,使用方式更加灵活,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种IP代理池管理系统及其管理方法。
背景技术
现有的IP代理地址在获取后直接存入数据库中,需要使用时直接调取使用。但是这种操作方式存在以下一些问题:1、由于IP代理地址的不稳定性,在高使用频率的情况下,极有可能会出现部分IP代理地址失效而无法使用的情况,用户需要重新获取新的IP代理地址进行重试,大大降低了用户的使用效率;2、由于获取到的IP代理地址直接存入数据库中,无法对IP代理地址进行区分管理,也就无法得知哪些IP代理地址是有效的,哪些IP代理地址是失效的,哪些IP代理地址的访问速度快,哪些IP代理地址的访问速度慢,导致使用方式单一,无法满足适应更多的应用场景的需求。
为此,本申请人进过了有益的探索和研究,找到了解决上述问题的办法,下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题之一在于:针对现有技术的不足而提供一种使用方式灵活、提高用户的使用效率的IP代理池管理系统。
本发明所要解决的技术问题之二在于:提供一种上述IP代理池管理系统的管理方法。
作为本发明第一方面的一种IP代理池管理系统,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;以及
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。
本发明的一个优选实施例中,还包括用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
本发明的一个优选实施例中,还包括IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
在本发明的一个优选实施例中,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
作为本发明第二方面的一种IP代理池管理系统的管理方法,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
在本发明的一个优选实施例中,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
在本发明的一个优选实施例中,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
由于采用如上技术方案,本发明的有益效果在于:本发明系统可针对不同的应用场景,使用方式更加灵活,本发明完全满足当遇到需要大量但不需要高可用IP代理地址的情况,或者少量但保证可用性的情况,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的IP代理池管理系统的结构示意图。
图2是本发明的IP代理池管理系统的管理方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
参见图1,图中给出的是一种IP代理池管理系统,包括IP代理池模块100、IP代理地址获取模块200、用户请求处理模块300、用户信息反馈处理模块400以及IP代理地址检测模块500。
IP代理池模块100用于存储若干IP代理地址及其代理信息,其中,代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数,这里可用性分数是指用于衡量IP代理地址的可用性,其根据IP代理地址的响应速度快慢来确定,其可介于0~100之间,响应速度越快,分数值越高,反之,响应速度越慢,分数值越低。
IP代理地址获取模块200用于向不同的代理商或不同的渠道获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入IP代理池模块100中。
用户请求处理模块300用于接收用户发送的IP代理地址获取请求,并根据该IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。用户也可以通过接口自定义请求参数,定制化使用要求,例如想使用某个使用地区、某个分数段、某些时间段、使用数量。同时,由于IP代理地址的不稳定性,本系统同时保证每一个IP代理地址在规定时间内只能被获取到一次,防止同时使用的用户过多而造成卡死。
用户信息反馈处理模块400用于获取用户反馈信息,并根据该用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。
IP代理地址检测模块500用于定时地检测IP代理池模块100所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。IP代理地址检测模块500可对IP代理池模块100所存储的IP代理地址进行扫描过滤,同时也可以选择过滤的方式,例如添加时间过久、分数低于某个分数段、响应速度过慢等。同时,保证系统中可用的IP代理地址可用的数量不低于100个,保证IP代理池模块100所存储的IP代理地址维持在一个高可用的状态和获取到的IP代理地址的随机性。
参见图2,图中给出的是一种IP代理池管理系统的管理方法,包括以下步骤:
步骤S10,IP代理地址获取模块200向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入IP代理池模块100中。
步骤S20,用户请求处理模块300接收用户发送的IP代理地址获取请求。
步骤S30,用户请求处理模块300根据接收到的IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址。
步骤S40,用户请求处理模块300将获取到的IP代理地址发送至指定的用户。
本发明的IP代理池管理系统的管理方法还包括用户信息反馈处理步骤S50,用户信息反馈处理步骤S50包括:
步骤S51,获取用户反馈信息。用户在使用过程中或使用完毕后将IP代理地址的使用情况反馈至用户信息反馈模块400进行处理。
步骤S52,用户信息反馈模块400根据用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。具体地,用户信息反馈模块400可根据用户反馈信息对代理池模块100中相对应的IP代理地址的响应时间、可用性分数等重新进行评估,并更新相对应的IP代理地址的代理信息。
本发明的IP代理池管理系统的管理方法还包括IP代理地址检测步骤S60,IP代理地址检测步骤S60包括:
步骤S61,判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
步骤S62,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中;
步骤S63,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种IP代理池管理系统,其特征在于,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;以及
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。
2.如权利要求1所述的IP代理池管理系统,其特征在于,还包括用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
3.如权利要求1所述的IP代理池管理系统,其特征在于,还包括IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
4.如权利要求1至3中任一项所述的IP代理池管理系统,其特征在于,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
5.一种如权利要求1至4中任一项所述的IP代理池管理系统的管理方法,其特征在于,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
6.如权利要求5所述的管理方法,其特征在于,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
7.如权利要求5所述的管理方法,其特征在于,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理系统及其管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理系统及其管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109873882A true CN109873882A (zh) | 2019-06-11 |
CN109873882B CN109873882B (zh) | 2022-07-29 |
Family
ID=66918803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910122558.XA Active CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理系统及其管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109873882B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278526A (zh) * | 2023-11-21 | 2023-12-22 | 厦门市唯云网络科技有限公司 | 一种基于人工神经网络的代理ip地址调度方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100265908A1 (en) * | 2004-06-30 | 2010-10-21 | Research In Motion Limited | Methods And Apparatus For Controlling Wireless Network Resources For Data Sessions Based On IP Address Usage |
CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、系统和设备 |
CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理系统及方法 |
CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
-
2019
- 2019-02-19 CN CN201910122558.XA patent/CN109873882B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100265908A1 (en) * | 2004-06-30 | 2010-10-21 | Research In Motion Limited | Methods And Apparatus For Controlling Wireless Network Resources For Data Sessions Based On IP Address Usage |
CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、系统和设备 |
CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理系统及方法 |
CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278526A (zh) * | 2023-11-21 | 2023-12-22 | 厦门市唯云网络科技有限公司 | 一种基于人工神经网络的代理ip地址调度方法和装置 |
CN117278526B (zh) * | 2023-11-21 | 2024-03-19 | 厦门市唯云网络科技有限公司 | 一种基于人工神经网络的代理ip地址调度方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109873882B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130007249A1 (en) | Method and system for managing server information data | |
CN101594376B (zh) | 向cimom注册cim提供器的方法和相应的装置 | |
CN103166980B (zh) | 互联网数据拉取方法和系统 | |
CN109033814B (zh) | 智能合约触发方法、装置、设备及存储介质 | |
CN110677493B (zh) | 服务状态确定方法及装置、计算机装置及存储介质 | |
CN110659109A (zh) | 一种openstack集群虚拟机监控系统及方法 | |
CN106790131B (zh) | 一种参数修改方法、装置及分布式平台 | |
CN113900834B (zh) | 基于物联网技术的数据处理方法、装置、设备及存储介质 | |
US20070219673A1 (en) | Master chassis automatic selection system and method | |
CN107566516A (zh) | 并发量控制方法、应用服务器、系统及存储介质 | |
CN108111499A (zh) | 业务处理性能优化方法、装置、电子设备及存储介质 | |
CN107819825A (zh) | 一种服务调度方法、装置和电子设备 | |
CN105099763A (zh) | 设备掉线提醒方法和装置 | |
CN109388671A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112286774A (zh) | 运维监控数据展示方法、装置、存储介质及计算设备 | |
CN111459631A (zh) | 服务器自动化批处理方法及系统 | |
CN105430114A (zh) | 一种ip地址冲突检测方法、系统及接入层设备 | |
CN108733545B (zh) | 一种压力测试方法及装置 | |
CN109873882A (zh) | 一种ip代理池管理系统及其管理方法 | |
US7761528B2 (en) | Method for processing multiple continuous Top-K queries | |
US20160321173A1 (en) | Automatic garbage collection thrashing monitoring | |
CN101217417A (zh) | 一种分布式ip网络性能测试系统 | |
CN104639379A (zh) | 测试代理方法及其装置 | |
CN109324914B (zh) | 服务调用方法、服务调用装置及中心服务器 | |
CN108234658B (zh) | 一种感知服务器集群健康状况的方法、装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |