CN109257459A - 一种提高adsl代理服务主机上网稳定性的判断方法 - Google Patents

一种提高adsl代理服务主机上网稳定性的判断方法 Download PDF

Info

Publication number
CN109257459A
CN109257459A CN201811325888.0A CN201811325888A CN109257459A CN 109257459 A CN109257459 A CN 109257459A CN 201811325888 A CN201811325888 A CN 201811325888A CN 109257459 A CN109257459 A CN 109257459A
Authority
CN
China
Prior art keywords
adsl
agent
proxy
program
proxy server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811325888.0A
Other languages
English (en)
Other versions
CN109257459B (zh
Inventor
吴�灿
丁小飞
项慧珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Caiyi Internet Financial Information Service Co Ltd
Original Assignee
Shanghai Caiyi Internet Financial Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Caiyi Internet Financial Information Service Co Ltd filed Critical Shanghai Caiyi Internet Financial Information Service Co Ltd
Priority to CN201811325888.0A priority Critical patent/CN109257459B/zh
Publication of CN109257459A publication Critical patent/CN109257459A/zh
Application granted granted Critical
Publication of CN109257459B publication Critical patent/CN109257459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5061—Pools of addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/59—Network arrangements, protocols or services for addressing or naming using proxies for addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H04L2012/6478—Digital subscriber line, e.g. DSL, ADSL, HDSL, XDSL, VDSL

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种提高ADSL代理服务主机上网稳定性的判断方法，该方法不仅能够充分利用ADSL定时拨号获取的代理IP做动态代理池方案的优势，减少代理主机的数量，降低购买、维护和管理成本，还能改善ADSL代理主机在拨号期间其代理IP短暂不可用的情况。本发明采用ADSL定时拨号获取的代理IP做动态代理池和固定IP的云主机做固定代理池相结合，其中针对动态代理IP，增加检测判断机制，检测代理IP的可用性，及时避开代理IP的不可用时段从而提高代理IP使用的稳定性。

Description

一种提高ADSL代理服务主机上网稳定性的判断方法
技术领域：
本发明涉及计算机网络领域，尤其涉及一种提高ADSL代理服务主机上网稳定性的判断方法。
背景技术：
目前，通过固定IP地址的云主机代理上网获取网站信息，经常会由于访问频率过高，固定上网IP地址容易被封，为了能够稳定地进行访问，往往采用更多的代理服务器，这样就增加云主机的购买、维护和管理成本。现有ADSL代理服务主机做代理池的方案有效解决了这一问题，但是通过该方案获取的动态代理IP地址，当ADSL代理服务主机在重新拨号期间，代理IP地址会出现短暂不能用的情况，这样会导致代理上网不稳定。为了尽可能降低这种由于代理IP地址因ADSL代理服务主机重新拨号而出现短暂不能用的情况，通常的做法就是在同时间内增加ADSL代理服务主机的数量，以避免多台ADSL代理服务主机如果出现同时在重新拨号而给代理上网带来短时间的运行压力。而一旦增加了ADSL代理服务主机的数量，又会增加设备维护和管理的成本。而如果不增加ADSL代理服务主机的数量，一旦出现同时重新拨号的极端情况，就会导致短时间内上网不稳定。
发明内容：
鉴于上述技术问题，本发明提供了一种提高ADSL代理服务主机上网稳定性的判断方法。该方法通过程序机制可以检测和判断ADSL定时拨号获取的动态代理IP是否可用，能够让代理上网时间避开该不可用时间段，从而实现稳定代理上网需求。
如图1所示，本发明的具体技术方案如下：
一种提高ADSL代理服务主机上网稳定性的判断方法，包括以下步骤：
S01:搭建由多台ADSL代理服务器主机通过拨号方式获取动态代理IP地址的动态IP地址代理池，以及至少一台以上固定IP的云主机因其所捆绑的固定IP地址所形成的固定IP地址代理池；
S02:由每台ADSL代理服务器主机通过拨号获取动态代理IP地址以实现网络连接；
S03:通过程序获取每台ADSL代理服务器主机拨号成功时的时间戳参数T1；通过程序获取每台ADSL代理服务器主机重新拨号的时间戳参数T2；
S04:通过程序设置每台ADSL代理服务器主机定时拨号的间隔时长参数TX；
S05:通过程序设置代理上网所预留的总时间参数Ty；
S06:通过程序实时调取当前的时间戳参数T0；
S07:通过程序对每台ADSL代理服务器主机执行判断逻辑公式：T2＞T0+Ty；若在代入具体数据参数后该逻辑公式成立，则表示当前ADSL代理服务器主机尚未即将进入重新拨号的时段，其代理IP地址可继续使用，无需主动切换连接线路规避；若在代入具体数据参数后该逻辑公式不成立，则表示当前ADSL代理服务器主机即将进入重新拨号的时段，其代理IP地址不可继续使用，需主动切换连接线路规避。
上述方案中，所述主动切换连接线路是指单台ADSL代理服务器主机在被判断其代理IP地址不可继续使用时，通过访问接口获取动态IP地址代理池中其它ADSL代理服务器主机的动态IP地址。
上述方案中，所述当动态IP地址代理池中其它ADSL代理服务器主机的动态IP地址均同时不可继续使用的极端情况下，主动切换连接线路会通过访问接口获取固定IP地址代理池中固定IP的云主机的固定IP地址来实现上网。
上述方案中，所述通过程序设置形成参数式：T2＝T1+TX。
上述方案中，所述通过程序设置TX为120s-1800s。根据每个运行系统软硬件环境的不同，该参数TX可以设成2分钟以上，最大不超过10分钟。
上述方案中，所述通过程序设置Ty为30s-120s。根据每个运行系统软硬件环境的不同，该参数Ty可以设成半分钟以上，最大不超过2分钟。
上述方法的判断依据是：当判断以上逻辑公式(T2＞T0+Ty)成立时，说明若此时再进行一次代理上网，不会与该ADSL代理主机重新拨号的时间相冲突，此时利用当前的代理IP上网将不会出现不稳定现象；当判断以上逻辑公式(T2＞T0+Ty)不成立时，说明若此时再进行一次代理上网，将会与该ADSL代理主机重新拨号的时间相冲突，此时还用当前代理IP上网必会出现不可用现象。
本发明方法，不仅能够充分利用ADSL定时拨号获取的代理IP做动态代理池方案的优势，减少代理主机的数量，降低购买、维护和管理成本，还能改善ADSL代理主机再拨号期间其代理IP短暂不可用的情况。
附图说明：
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明方法的流程图。
图2为本发明具体实施例中所涉及的系统框架示意图。
图3为本发明实施例中的一种逻辑框图。
具体实施方式：
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本发明方法针对使用ADSL代理主机作动态代理池方案时出现的重新拨号期间代理IP不可用的问题，提出了一种改善方法，在代理上网时及时避开该动态代理IP不可用的时间段，从而提高ADSL拨号代理上网的稳定性。
为便于本领域技术人员理解，下面结合本技术方法在爬虫领域的应用对本发明方法进行详细说明。
如图2和图3所示，本实施例中，一共部署了三台ADSL代理主机作动态代理池。另有若干台固定IP服务主机作为机动应急，客户端通过后端服务主机选择上网的路径。
然后，由运维工作人员编写指令代码，控制每台ADSL代理主机间隔拨号的时长，本实施例中间隔时长设置为10分钟，即TX＝10×60s＝600s；另一方面，根据业务需求通过程序代码预留当前爬虫需要的时间，本实施例中预留爬虫的时间为2分钟，即Ty＝2×60s＝120s。
每成功拨号一次将切换该ADSL代理主机的IP地址，此时ADSL代理主机将返回当前代理IP地址的过期时间的时间戳，也就是该ADSL代理主机重新拨号的时间戳，用T2表示。
通过指令直接调取当前时间的时间戳T0,即T0参数实时获取。
本实施例中，可访问http：//118.XX.XX.189:8000/show页面来查询三台代理服务主机当前的代理信息，其中118.XX.XX.189为查询地址，8000为查询端口。
以其中一台ADSL代理服务主机的代理信息为例，以下是在2018-10-1215:38:30查询的某台ADSL代理主机的代理信息：#113.xx.xx.xx:xxxx#地区#2018-10-12 15:45:05#,其中2018-10-12 15:45:05为该台ADSL代理主机重新拨号的时间，T2为该时刻的时间戳。
若当前时间为2018-10-12 15:38:30，此时T0为2018-10-12 15:38:30时刻的时间戳，检测该代理IP的可用性，判断T2＞T0+Ty？表达式成立，说明此时该代理IP可用，可继续使用该动态IP地址。
若当前时间为2018-10-12 15:44:30，此时T0为2018-10-12 15:44:30时刻的时间戳，检测该代理IP的可用性，判断T2＞T0+Ty？表达式不成立，说明此时该代理IP不可用，选择避开使用该动态IP地址。
本实施例中，部署三台代理服务主机，分别错峰进行拨号，其中某一台代理服务主机拨号获得的动态代理IP被检测为不可用时，并不影响其它代理服务主机继续工作。
本实施例采用本发明方法让爬虫时间有效地避开使用不可用的代理IP，从而能够实现稳定进行爬虫。
当然，上述所例举的爬虫的单个实施例，只是本发明方法在实际应用中小规模的演示，作为一项效果突出的借助程序实现网络后台高效管理方法，申请人在非公开的状态下，机构内部进行了模拟试验，以下为采用本发明方法前后的技术效果。
改进前：共有65台专门做代理的云主机，均为固定IP，当用户有请求时，开发人员会从这65台云主机中轮流获取IP进行代理上网。也就是说，运维人员需要同时管理和维护65台固定IP的代理云主机才能满足当前的业务需求。
改进后：将65台固定IP的云主机全部释放，用15台ADSL代理服务器主机做动态IP代理池代替先前65台固定IP的云主机。理论上，采用改进方案只需要同时管理和维护15台ADSL代理服务器主机即可满足当前的业务需求，管理成本可降低到方案改进前的四分之一。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种提高ADSL代理服务主机上网稳定性的判断方法，包括以下步骤：
S01:搭建由多台ADSL代理服务器主机通过拨号方式获取动态代理IP地址的动态IP地址代理池，以及至少一台以上固定IP的云主机因其所捆绑的固定IP地址所形成的固定IP地址代理池；
S02:由每台ADSL代理服务器主机通过拨号获取动态代理IP地址以实现网络连接；
S03:通过程序获取每台ADSL代理服务器主机拨号成功时的时间戳参数T1；通过程序获取每台ADSL代理服务器主机重新拨号的时间戳参数T2；
S04:通过程序设置每台ADSL代理服务器主机定时拨号的间隔时长参数TX；
S05:通过程序设置代理上网所预留的总时间参数Ty；
S06:通过程序实时调取当前的时间戳参数T0；
S07:通过程序对每台ADSL代理服务器主机执行判断逻辑公式：T2＞T0+Ty；若在代入具体数据参数后该逻辑公式成立，则表示当前ADSL代理服务器主机尚未即将进入重新拨号的时段，其代理IP地址可继续使用，无需主动切换连接线路规避；若在代入具体数据参数后该逻辑公式不成立，则表示当前ADSL代理服务器主机即将进入重新拨号的时段，其代理IP地址不可继续使用，需主动切换连接线路规避。
2.根据权利要求1的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述主动切换连接线路是指单台ADSL代理服务器主机在被判断其代理IP地址不可继续使用时，通过访问接口获取动态IP地址代理池中其它ADSL代理服务器主机的动态IP地址。
3.根据权利要求1的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述当动态IP地址代理池中其它ADSL代理服务器主机的动态IP地址均同时不可继续使用的极端情况下，主动切换连接线路会通过访问接口获取固定IP地址代理池中固定IP的云主机的固定IP地址来实现上网。
4.根据权利要求1的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述通过程序设置形成参数式：T2＝T1+TX。
5.根据权利要求1的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述通过程序设置TX为120s-1800s。
6.根据权利要求5的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述通过程序设置TX为600s。
7.根据权利要求1的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述通过程序设置Ty为30s-120s。
8.根据权利要求7的提高ADSL代理服务主机上网稳定性的判断方法，其特征在于，所述通过程序设置Ty为120s。
CN201811325888.0A 2018-11-08 2018-11-08 一种提高adsl代理服务主机上网稳定性的判断方法 Active CN109257459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811325888.0A CN109257459B (zh) 2018-11-08 2018-11-08 一种提高adsl代理服务主机上网稳定性的判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811325888.0A CN109257459B (zh) 2018-11-08 2018-11-08 一种提高adsl代理服务主机上网稳定性的判断方法

Publications (2)

Publication Number Publication Date
CN109257459A true CN109257459A (zh) 2019-01-22
CN109257459B CN109257459B (zh) 2021-07-23

Family

ID=65043984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811325888.0A Active CN109257459B (zh) 2018-11-08 2018-11-08 一种提高adsl代理服务主机上网稳定性的判断方法

Country Status (1)

Country Link
CN (1) CN109257459B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080151767A1 (en) * 2006-12-22 2008-06-26 Verizon Data Services Inc. Network element connection management within a network management system
CN104320488A (zh) * 2014-11-11 2015-01-28 携程计算机技术（上海）有限公司 代理服务器系统及代理服务方法
CN104917689A (zh) * 2014-03-14 2015-09-16 中兴通讯股份有限公司 一种实现按需智能拨号的方法、系统和接入路由器
CN107635026A (zh) * 2017-09-26 2018-01-26 马上消费金融股份有限公司 一种获取ip的方法及装置
CN108124021A (zh) * 2016-11-28 2018-06-05 阿里巴巴集团控股有限公司 网际协议ip地址获取、网站访问的方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080151767A1 (en) * 2006-12-22 2008-06-26 Verizon Data Services Inc. Network element connection management within a network management system
CN104917689A (zh) * 2014-03-14 2015-09-16 中兴通讯股份有限公司 一种实现按需智能拨号的方法、系统和接入路由器
CN104320488A (zh) * 2014-11-11 2015-01-28 携程计算机技术（上海）有限公司 代理服务器系统及代理服务方法
CN108124021A (zh) * 2016-11-28 2018-06-05 阿里巴巴集团控股有限公司 网际协议ip地址获取、网站访问的方法、装置及系统
CN107635026A (zh) * 2017-09-26 2018-01-26 马上消费金融股份有限公司 一种获取ip的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄景坚: "浅析ADSL宽带接入网的技术与应用", 《科建园地》 *

Also Published As

Publication number Publication date
CN109257459B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN108370341B (zh) 资源配置方法、虚拟网络功能管理器和网元管理系统
CN103038788B (zh) 提供多个网络资源
CN104219327B (zh) 一种分布式缓存系统
CN109792393B (zh) 虚拟化离线计费系统中的软件升级
US20090300180A1 (en) Systems and methods for remote management of networked systems using secure modular platform
EP3905589A1 (en) Slice resource deployment method and apparatus, and slice manager and computer storage medium
US20180024866A1 (en) System, virtualization control apparatus, method for controlling a virtualization control apparatus, and program
CN102316001A (zh) 一种虚拟网络连接配置实现方法和网络设备
CN108173976A (zh) 域名解析方法及装置
CN112948248B (zh) 云计算服务中的软件调试的方法和装置
CN110391940A (zh) 服务地址的响应方法、装置、系统、设备和存储介质
CN109561165A (zh) 域名系统配置方法及相关装置
CN102164048B (zh) 局域网络中实现多运营商接入的数据流优化装置及方法
JP6338257B2 (ja) ネットワーク要素データアクセス方法および装置、およびネットワーク管理システム
CN111770123B (zh) 通信方法、设备及存储介质
JP4038147B2 (ja) 情報処理システム
CN102684894B (zh) 一种实现北向接口的方法及装置
CN109257459A (zh) 一种提高adsl代理服务主机上网稳定性的判断方法
CN116566830A (zh) 一种网络配置方法、装置、系统、边缘设备及存储介质
CN105069024B (zh) 面向并行数据采集的分布式文件系统写访问方法
Nogueira et al. Network virtualization system suite: Experimental network virtualization platform
CN109669642A (zh) 存储系统的节点加入方法、系统、装置及可读存储介质
EP3306471B1 (en) Automatic server cluster discovery
CN110035134A (zh) 网络地址转换方法、装置及接入设备
CN114553771B (zh) 用于虚拟路由器加载的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201815 room 508, 5 / F, building 2, no.1061, Xingshun Road, Jiading District, Shanghai

Applicant after: Shanghai Jiwei Technology Co.,Ltd.

Address before: 201815 room 508, 5 / F, building 2, no.1061, Xingshun Road, Jiading District, Shanghai

Applicant before: SHANGHAI CAIYI INTERNET FINANCIAL INFORMATION SERVICE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Judgment Method for Improving the Online Stability of ADSL Proxy Service Host

Effective date of registration: 20221009

Granted publication date: 20210723

Pledgee: Industrial Bank Co.,Ltd. Shanghai Changning sub branch

Pledgor: Shanghai Jiwei Technology Co.,Ltd.

Registration number: Y2022310000281

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231228

Granted publication date: 20210723

Pledgee: Industrial Bank Co.,Ltd. Shanghai Changning sub branch

Pledgor: Shanghai Jiwei Technology Co.,Ltd.

Registration number: Y2022310000281

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for improving the stability of ADSL proxy service hosts on the internet

Granted publication date: 20210723

Pledgee: Industrial Bank Co.,Ltd. Shanghai Changning sub branch

Pledgor: Shanghai Jiwei Technology Co.,Ltd.

Registration number: Y2024310000023

PE01 Entry into force of the registration of the contract for pledge of patent right