CN109873882A - 一种ip代理池管理系统及其管理方法 - Google Patents

一种ip代理池管理系统及其管理方法 Download PDF

Info

Publication number
CN109873882A
CN109873882A CN201910122558.XA CN201910122558A CN109873882A CN 109873882 A CN109873882 A CN 109873882A CN 201910122558 A CN201910122558 A CN 201910122558A CN 109873882 A CN109873882 A CN 109873882A
Authority
CN
China
Prior art keywords
agent
agent address
address
module
pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910122558.XA
Other languages
English (en)
Other versions
CN109873882B (zh
Inventor
于笑天
甘露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Seven India Mdt Infotech Ltd
Original Assignee
Shanghai Seven India Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Seven India Mdt Infotech Ltd filed Critical Shanghai Seven India Mdt Infotech Ltd
Priority to CN201910122558.XA priority Critical patent/CN109873882B/zh
Publication of CN109873882A publication Critical patent/CN109873882A/zh
Application granted granted Critical
Publication of CN109873882B publication Critical patent/CN109873882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开的一种IP代理池管理系统,包括:IP代理池模块,IP代理池模块用于存储若干IP代理地址及其代理信息;IP代理地址获取模块,IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;用户请求处理模块,用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。还公开了上述系统的管理方法。本发明系统可针对不同的应用场景,使用方式更加灵活,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。

Description

一种IP代理池管理系统及其管理方法
技术领域
本发明涉及计算机技术领域,尤其涉及一种IP代理池管理系统及其管理方法。
背景技术
现有的IP代理地址在获取后直接存入数据库中,需要使用时直接调取使用。但是这种操作方式存在以下一些问题:1、由于IP代理地址的不稳定性,在高使用频率的情况下,极有可能会出现部分IP代理地址失效而无法使用的情况,用户需要重新获取新的IP代理地址进行重试,大大降低了用户的使用效率;2、由于获取到的IP代理地址直接存入数据库中,无法对IP代理地址进行区分管理,也就无法得知哪些IP代理地址是有效的,哪些IP代理地址是失效的,哪些IP代理地址的访问速度快,哪些IP代理地址的访问速度慢,导致使用方式单一,无法满足适应更多的应用场景的需求。
为此,本申请人进过了有益的探索和研究,找到了解决上述问题的办法,下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题之一在于:针对现有技术的不足而提供一种使用方式灵活、提高用户的使用效率的IP代理池管理系统。
本发明所要解决的技术问题之二在于:提供一种上述IP代理池管理系统的管理方法。
作为本发明第一方面的一种IP代理池管理系统,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;以及
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。
本发明的一个优选实施例中,还包括用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
本发明的一个优选实施例中,还包括IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
在本发明的一个优选实施例中,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
作为本发明第二方面的一种IP代理池管理系统的管理方法,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
在本发明的一个优选实施例中,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
在本发明的一个优选实施例中,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
由于采用如上技术方案,本发明的有益效果在于:本发明系统可针对不同的应用场景,使用方式更加灵活,本发明完全满足当遇到需要大量但不需要高可用IP代理地址的情况,或者少量但保证可用性的情况,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的IP代理池管理系统的结构示意图。
图2是本发明的IP代理池管理系统的管理方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
参见图1,图中给出的是一种IP代理池管理系统,包括IP代理池模块100、IP代理地址获取模块200、用户请求处理模块300、用户信息反馈处理模块400以及IP代理地址检测模块500。
IP代理池模块100用于存储若干IP代理地址及其代理信息,其中,代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数,这里可用性分数是指用于衡量IP代理地址的可用性,其根据IP代理地址的响应速度快慢来确定,其可介于0~100之间,响应速度越快,分数值越高,反之,响应速度越慢,分数值越低。
IP代理地址获取模块200用于向不同的代理商或不同的渠道获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入IP代理池模块100中。
用户请求处理模块300用于接收用户发送的IP代理地址获取请求,并根据该IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。用户也可以通过接口自定义请求参数,定制化使用要求,例如想使用某个使用地区、某个分数段、某些时间段、使用数量。同时,由于IP代理地址的不稳定性,本系统同时保证每一个IP代理地址在规定时间内只能被获取到一次,防止同时使用的用户过多而造成卡死。
用户信息反馈处理模块400用于获取用户反馈信息,并根据该用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。
IP代理地址检测模块500用于定时地检测IP代理池模块100所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。IP代理地址检测模块500可对IP代理池模块100所存储的IP代理地址进行扫描过滤,同时也可以选择过滤的方式,例如添加时间过久、分数低于某个分数段、响应速度过慢等。同时,保证系统中可用的IP代理地址可用的数量不低于100个,保证IP代理池模块100所存储的IP代理地址维持在一个高可用的状态和获取到的IP代理地址的随机性。
参见图2,图中给出的是一种IP代理池管理系统的管理方法,包括以下步骤:
步骤S10,IP代理地址获取模块200向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入IP代理池模块100中。
步骤S20,用户请求处理模块300接收用户发送的IP代理地址获取请求。
步骤S30,用户请求处理模块300根据接收到的IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址。
步骤S40,用户请求处理模块300将获取到的IP代理地址发送至指定的用户。
本发明的IP代理池管理系统的管理方法还包括用户信息反馈处理步骤S50,用户信息反馈处理步骤S50包括:
步骤S51,获取用户反馈信息。用户在使用过程中或使用完毕后将IP代理地址的使用情况反馈至用户信息反馈模块400进行处理。
步骤S52,用户信息反馈模块400根据用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。具体地,用户信息反馈模块400可根据用户反馈信息对代理池模块100中相对应的IP代理地址的响应时间、可用性分数等重新进行评估,并更新相对应的IP代理地址的代理信息。
本发明的IP代理池管理系统的管理方法还包括IP代理地址检测步骤S60,IP代理地址检测步骤S60包括:
步骤S61,判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
步骤S62,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中;
步骤S63,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种IP代理池管理系统,其特征在于,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;以及
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。
2.如权利要求1所述的IP代理池管理系统,其特征在于,还包括用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
3.如权利要求1所述的IP代理池管理系统,其特征在于,还包括IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
4.如权利要求1至3中任一项所述的IP代理池管理系统,其特征在于,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
5.一种如权利要求1至4中任一项所述的IP代理池管理系统的管理方法,其特征在于,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
6.如权利要求5所述的管理方法,其特征在于,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
7.如权利要求5所述的管理方法,其特征在于,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
CN201910122558.XA 2019-02-19 2019-02-19 一种ip代理池管理系统及其管理方法 Active CN109873882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910122558.XA CN109873882B (zh) 2019-02-19 2019-02-19 一种ip代理池管理系统及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910122558.XA CN109873882B (zh) 2019-02-19 2019-02-19 一种ip代理池管理系统及其管理方法

Publications (2)

Publication Number Publication Date
CN109873882A true CN109873882A (zh) 2019-06-11
CN109873882B CN109873882B (zh) 2022-07-29

Family

ID=66918803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910122558.XA Active CN109873882B (zh) 2019-02-19 2019-02-19 一种ip代理池管理系统及其管理方法

Country Status (1)

Country Link
CN (1) CN109873882B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278526A (zh) * 2023-11-21 2023-12-22 厦门市唯云网络科技有限公司 一种基于人工神经网络的代理ip地址调度方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265908A1 (en) * 2004-06-30 2010-10-21 Research In Motion Limited Methods And Apparatus For Controlling Wireless Network Resources For Data Sessions Based On IP Address Usage
CN103178973A (zh) * 2011-12-21 2013-06-26 中国电信股份有限公司 管理ip地址的方法、系统和设备
CN106130843A (zh) * 2016-08-01 2016-11-16 中国联合网络通信集团有限公司 一种互联网协议ip地址管理系统及方法
CN107395782A (zh) * 2017-07-19 2017-11-24 北京理工大学 一种基于代理池的ip限制受控源信息抓取方法
CN107635026A (zh) * 2017-09-26 2018-01-26 马上消费金融股份有限公司 一种获取ip的方法及装置
CN107957999A (zh) * 2016-10-14 2018-04-24 北京国双科技有限公司 一种网络爬虫获取网站数据的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265908A1 (en) * 2004-06-30 2010-10-21 Research In Motion Limited Methods And Apparatus For Controlling Wireless Network Resources For Data Sessions Based On IP Address Usage
CN103178973A (zh) * 2011-12-21 2013-06-26 中国电信股份有限公司 管理ip地址的方法、系统和设备
CN106130843A (zh) * 2016-08-01 2016-11-16 中国联合网络通信集团有限公司 一种互联网协议ip地址管理系统及方法
CN107957999A (zh) * 2016-10-14 2018-04-24 北京国双科技有限公司 一种网络爬虫获取网站数据的方法及装置
CN107395782A (zh) * 2017-07-19 2017-11-24 北京理工大学 一种基于代理池的ip限制受控源信息抓取方法
CN107635026A (zh) * 2017-09-26 2018-01-26 马上消费金融股份有限公司 一种获取ip的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278526A (zh) * 2023-11-21 2023-12-22 厦门市唯云网络科技有限公司 一种基于人工神经网络的代理ip地址调度方法和装置
CN117278526B (zh) * 2023-11-21 2024-03-19 厦门市唯云网络科技有限公司 一种基于人工神经网络的代理ip地址调度方法和装置

Also Published As

Publication number Publication date
CN109873882B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US20130007249A1 (en) Method and system for managing server information data
CN101594376B (zh) 向cimom注册cim提供器的方法和相应的装置
CN103166980B (zh) 互联网数据拉取方法和系统
CN109033814B (zh) 智能合约触发方法、装置、设备及存储介质
CN110677493B (zh) 服务状态确定方法及装置、计算机装置及存储介质
CN110659109A (zh) 一种openstack集群虚拟机监控系统及方法
CN106790131B (zh) 一种参数修改方法、装置及分布式平台
CN113900834B (zh) 基于物联网技术的数据处理方法、装置、设备及存储介质
US20070219673A1 (en) Master chassis automatic selection system and method
CN107566516A (zh) 并发量控制方法、应用服务器、系统及存储介质
CN108111499A (zh) 业务处理性能优化方法、装置、电子设备及存储介质
CN107819825A (zh) 一种服务调度方法、装置和电子设备
CN105099763A (zh) 设备掉线提醒方法和装置
CN109388671A (zh) 数据处理方法、装置、设备及存储介质
CN112286774A (zh) 运维监控数据展示方法、装置、存储介质及计算设备
CN111459631A (zh) 服务器自动化批处理方法及系统
CN105430114A (zh) 一种ip地址冲突检测方法、系统及接入层设备
CN108733545B (zh) 一种压力测试方法及装置
CN109873882A (zh) 一种ip代理池管理系统及其管理方法
US7761528B2 (en) Method for processing multiple continuous Top-K queries
US20160321173A1 (en) Automatic garbage collection thrashing monitoring
CN101217417A (zh) 一种分布式ip网络性能测试系统
CN104639379A (zh) 测试代理方法及其装置
CN109324914B (zh) 服务调用方法、服务调用装置及中心服务器
CN108234658B (zh) 一种感知服务器集群健康状况的方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant