CN104320488A - 代理服务器系统及代理服务方法 - Google Patents

代理服务器系统及代理服务方法 Download PDF

Info

Publication number
CN104320488A
CN104320488A CN201410632868.3A CN201410632868A CN104320488A CN 104320488 A CN104320488 A CN 104320488A CN 201410632868 A CN201410632868 A CN 201410632868A CN 104320488 A CN104320488 A CN 104320488A
Authority
CN
China
Prior art keywords
server
domain name
adsl
proxy
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410632868.3A
Other languages
English (en)
Inventor
谈健
张磊
沙大为
牟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201410632868.3A priority Critical patent/CN104320488A/zh
Publication of CN104320488A publication Critical patent/CN104320488A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing

Abstract

本发明公开了一种代理服务器系统及代理服务方法，该代理服务器系统包括一ADSL服务器集群、一动态域名解析服务器和一中央服务器；该ADSL服务器集群中的每个ADSL服务器分别具有一固定的域名，用于以一时间间隔进行ADSL拨号并将得到的IP信息更新至该动态域名解析服务器；该中央服务器用于从获取的每个ADSL服务器的域名中选取一个域名作为一特定域名，利用该动态域名解析服务器对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息，通过对应的ADSL服务器访问该目标网站并返回数据至该客户端。本发明弥补了现有的代理服务器因IP资源有限而造成服务器IP被封锁的不足，保证数据的正常采集。

Description

代理服务器系统及代理服务方法
技术领域
本发明涉及一种代理服务器系统及代理服务方法。
背景技术
目前的代理服务器，例如squid(一种代理服务器)等，主要用于缓存Internet(互联网)数据，它可以接受用户的下载申请，并自动处理下载的数据。由于这种代理服务器往往配置在单一的服务器上，因而IP(网络之间互连的协议)资源有限，在需要获取大量目标网站数据时，往往会碰到服务器的IP被目标网站封锁的难题，导致数据采集无法正常进行。
发明内容
本发明要解决的技术问题是为了克服现有技术中的代理服务器因IP资源有限而造成服务器IP被封锁，导致数据采集无法正常进行的缺陷，提供一种能够防止服务器IP被目标网站封锁、保证数据正常采集的代理服务器系统及代理服务方法。
本发明是通过下述技术方案解决上述技术问题的：
本发明提供一种代理服务器系统，其特点是，其包括一ADSL(一种异步传输模式)服务器集群、一动态域名解析服务器和一中央服务器；
该ADSL服务器集群中的每个ADSL服务器分别具有一固定的域名，每个ADSL服务器分别用于以一时间间隔进行ADSL拨号并将拨号后得到的IP信息实时地更新至该动态域名解析服务器；
该中央服务器用于在接收客户端的一访问一目标网站的网络请求后，从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为一特定域名，利用该动态域名解析服务器对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息，通过得到的IP信息所对应的ADSL服务器访问该目标网站并返回数据至该客户端。
该ADSL服务器集群包括至少一个ADSL服务器，每个ADSL服务器分别部署有代理软件。本技术方案采用ADSL服务器集群代替现有的单一服务器作为代理，增大了作为代理的服务器的数量，每个ADSL服务器利用主动进行间隔拨号的方式不断改变自己的IP信息，防止在需要获取大量目标网站数据时服务器的IP被目标网站封锁，保证数据采集的正常进行。
较佳的，该中央服务器根据负载均衡策略从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名。本技术方案能够在网络请求量大时，将网络请求平衡、分摊到多个ADSL服务器，提高网络请求的响应速度。
较佳的，每个ADSL服务器还分别用于在将拨号后得到的IP信息实时地更新至该动态域名解析服务器时，将域名上传至该动态域名解析服务器。在本技术方案中，该动态域名解析服务器将域名和拨号后得到的IP信息一同存储，使得对特定域名进行解析得到该特定域名所属的ADSL服务器的IP信息时的速度和准确率得到提高。
较佳的，该代理服务器系统还包括一运维设备，该运维设备用于利用ssh协议(一种建立在应用层和传输层基础上的安全协议)通过该动态域名解析服务器访问该ADSL服务器集群，并对该ADSL服务器集群进行管理和监控。本技术方案有利于运维人员对ADSL服务器集群进行管理和监控，保证网络安全。
较佳的，该时间间隔为2分种。本技术方案表明了ADSL服务器拨号的频率较高，不同于现有的ADSL服务器只在网络断开时被动拨号的方式，提高了ADSL服务器的IP信息变化的频率，进而保证了IP信息不会被目标网站封锁。
本发明还提供一种代理服务方法，其特点，其利用上述的代理服务器系统实现，包括：
该ADSL服务器集群中的每个ADSL服务器分别以该时间间隔进行ADSL拨号并将拨号后得到的IP信息实时地更新至该动态域名解析服务器；以及，
该中央服务器在接收到客户端的网络请求后，执行以下步骤：
S1、从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名；
S2、利用该动态域名解析服务器对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息；
S3、通过得到的IP信息所对应的ADSL服务器访问该目标网站并返回数据至该客户端。
较佳的，在S1中，根据负载均衡策略从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名。
较佳的，每个ADSL服务器在将拨号后得到的IP信息实时地更新至该动态域名解析服务器时，还将域名上传至该动态域名解析服务器。
较佳的，该代理服务器系统还包括一运维设备，该代理服务方法还包括以下步骤：
该运维设备利用ssh协议通过该动态域名解析服务器访问该ADSL服务器集群，并对该ADSL服务器集群进行管理和监控。
较佳的，该时间间隔为2分种。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的代理服务器系统及代理服务方法增大了作为代理的ADSL服务器的数量，还使得每个ADSL服务器的IP信息不断改变，防止了因网络请求过多而造成ADSL服务器的IP信息被封锁，保证了数据的正常采集，进而提高了客户端的访问成功率。同时本发明还具有网络请求的响应速度快、便于维护和管理、保证网络安全等优点。
附图说明
图1为本发明的实施例的代理服务器系统的框架示意图。
图2为本发明的实施例的代理服务方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例
一种代理服务器系统，参见图1，其包括一ADSL服务器集群11、一动态域名解析服务器12、一中央服务器13和一运维设备14。
该ADSL服务器集群11包括3个ADSL服务器111、112和113，每个ADSL服务器分别部署有代理软件并分别具有一固定的域名。每个ADSL服务器分别用于以2分钟为时间间隔进行ADSL拨号，并将拨号后得到的IP信息和配置信息实时地更新至该动态域名解析服务器12，该配置信息包括域名。ADSL服务器111、112和113在进行ADSL拨号后，IP信息改变，具体原理不再赘述。
该动态域名解析服务器12用于存储每个ADSL服务器的域名及最新的IP信息，如下表1：
表1
需要说明的是，上表中的域名和最新的IP信息只是示意性说明，并不是真正的域名和IP信息，也很可能不符合域名和IP信息的表示规则。
该中央服务器13用于在接收客户端2的一访问一目标网站3的网络请求后，根据负载均衡策略，从该动态域名解析服务器12获取的每个ADSL服务器的域名中选取一个域名作为一特定域名，利用该动态域名解析服务器12对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息，通过得到的IP信息所对应的ADSL服务器访问该目标网站3并返回数据至该客户端2。如，根据负载均衡策略从a.com、b.com和c.com中选取b.com作为特定域名，利用该动态域名解析服务器12对b.com进行解析，得到b.com所属的ADSL服务器112的IP信息8.0.1，将ADSL服务器112作为访问该目标网站3的代理服务器，通过ADSL服务器112访问该目标网站3并返回数据至该客户端2。
该运维设备14用于利用ssh协议通过该动态域名解析服务器12访问该ADSL服务器集群11，并对该ADSL服务器集群11进行管理和监控。
利用该代理服务器系统实现的一种代理服务方法，包括：
该ADSL服务器集群11中的每个ADSL服务器分别以2分钟为时间间隔进行ADSL拨号，并将拨号后得到的IP信息和配置信息实时地更新至该动态域名解析服务器12。即，该动态域名解析服务器12存储的是每个ADSL服务器的域名及最新的IP信息。
以及，该中央服务器13在接收到客户端2的网络请求后，执行以下步骤，参见图2：
步骤401、根据负载均衡策略从该动态域名解析服务器12获取的每个ADSL服务器的域名中选取一个域名作为该特定域名。
步骤402、利用该动态域名解析服务器12对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息。
步骤403、通过得到的IP信息所对应的ADSL服务器访问该目标网站3并返回数据至该客户端2。通过ADSL服务器12访问该目标网站3。
以及，该运维设备14利用ssh协议通过该动态域名解析服务器12访问该ADSL服务器集群11，并对该ADSL服务器集群11进行管理和监控。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种代理服务器系统，其特征在于，其包括一ADSL服务器集群、一动态域名解析服务器和一中央服务器；
该ADSL服务器集群中的每个ADSL服务器分别具有一固定的域名，每个ADSL服务器分别用于以一时间间隔进行ADSL拨号并将拨号后得到的IP信息实时地更新至该动态域名解析服务器；
该中央服务器用于在接收客户端的一访问一目标网站的网络请求后，从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为一特定域名，利用该动态域名解析服务器对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息，通过得到的IP信息所对应的ADSL服务器访问该目标网站并返回数据至该客户端。
2.如权利要求1所述的代理服务器系统，其特征在于，该中央服务器根据负载均衡策略从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名。
3.如权利要求1所述的代理服务器系统，其特征在于，每个ADSL服务器还分别用于在将拨号后得到的IP信息实时地更新至该动态域名解析服务器时，将域名上传至该动态域名解析服务器。
4.如权利要求1-3中任意一项所述的代理服务器系统，其特征在于，该代理服务器系统还包括一运维设备，该运维设备用于利用ssh协议通过该动态域名解析服务器访问该ADSL服务器集群，并对该ADSL服务器集群进行管理和监控。
5.如权利要求1所述的代理服务器系统，其特征在于，该时间间隔为2分种。
6.一种代理服务方法，其特征在于，其利用权利要求1所述的代理服务器系统实现，包括：
该ADSL服务器集群中的每个ADSL服务器分别以该时间间隔进行ADSL拨号并将拨号后得到的IP信息实时地更新至该动态域名解析服务器；
以及，该中央服务器在接收到客户端的网络请求后，执行以下步骤：
S1、从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名；
S2、利用该动态域名解析服务器对该特定域名进行解析，得到该特定域名所属的ADSL服务器的IP信息；
S3、通过得到的IP信息所对应的ADSL服务器访问该目标网站并返回数据至该客户端。
7.如权利要求6所述的代理服务方法，其特征在于，在S1中，根据负载均衡策略从该动态域名解析服务器获取的每个ADSL服务器的域名中选取一个域名作为该特定域名。
8.如权利要求6所述的代理服务方法，其特征在于，每个ADSL服务器在将拨号后得到的IP信息实时地更新至该动态域名解析服务器时，还将域名上传至该动态域名解析服务器。
9.如权利要求6-8中任意一项所述的代理服务方法，其特征在于，该代理服务器系统还包括一运维设备，该代理服务方法还包括以下步骤：
该运维设备利用ssh协议通过该动态域名解析服务器访问该ADSL服务器集群，并对该ADSL服务器集群进行管理和监控。
10.如权利要求6所述的代理服务方法，其特征在于，该时间间隔为2分种。
CN201410632868.3A 2014-11-11 2014-11-11 代理服务器系统及代理服务方法 Pending CN104320488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410632868.3A CN104320488A (zh) 2014-11-11 2014-11-11 代理服务器系统及代理服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410632868.3A CN104320488A (zh) 2014-11-11 2014-11-11 代理服务器系统及代理服务方法

Publications (1)

Publication Number Publication Date
CN104320488A true CN104320488A (zh) 2015-01-28

Family

ID=52375656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410632868.3A Pending CN104320488A (zh) 2014-11-11 2014-11-11 代理服务器系统及代理服务方法

Country Status (1)

Country Link
CN (1) CN104320488A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790674A (zh) * 2017-01-25 2017-05-31 杭州淘淘搜科技有限公司 一种基于adsl的代理集群服务系统及方法
CN107943622A (zh) * 2016-10-13 2018-04-20 腾讯科技（深圳）有限公司 备用运维方法、装置和系统
CN108055342A (zh) * 2017-12-26 2018-05-18 北京奇艺世纪科技有限公司 一种数据监控方法及装置
CN109257459A (zh) * 2018-11-08 2019-01-22 上海彩亿互联网金融信息服务有限公司 一种提高adsl代理服务主机上网稳定性的判断方法
CN109842497A (zh) * 2017-11-24 2019-06-04 贵州白山云科技股份有限公司 Dns服务器的配置更新的方法及装置、终端设备和配置更新系统
CN110138872A (zh) * 2016-06-30 2019-08-16 上海智臻智能网络科技股份有限公司 一种用于网络代理的计算机可读介质
CN112637049A (zh) * 2020-12-16 2021-04-09 广州索答信息科技有限公司 数据抓取系统、方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127701A (zh) * 2007-07-24 2008-02-20 深圳市深信服电子科技有限公司 利用网络设备实现代理服务器负载均衡的方法
CN101753636A (zh) * 2009-12-23 2010-06-23 新太科技股份有限公司 一种统一通信实现动态域名访问方法及系统
CN103297564A (zh) * 2013-07-03 2013-09-11 深圳市共进电子股份有限公司 一种自动切换外部代理服务器地址的方法
CN103491123A (zh) * 2012-06-14 2014-01-01 中国移动通信集团贵州有限公司 一种基于域名访问的负载均衡方法、系统及负载均衡器
CN103581328A (zh) * 2013-11-14 2014-02-12 广州品唯软件有限公司 产品属性数据的获取方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127701A (zh) * 2007-07-24 2008-02-20 深圳市深信服电子科技有限公司 利用网络设备实现代理服务器负载均衡的方法
CN101753636A (zh) * 2009-12-23 2010-06-23 新太科技股份有限公司 一种统一通信实现动态域名访问方法及系统
CN103491123A (zh) * 2012-06-14 2014-01-01 中国移动通信集团贵州有限公司 一种基于域名访问的负载均衡方法、系统及负载均衡器
CN103297564A (zh) * 2013-07-03 2013-09-11 深圳市共进电子股份有限公司 一种自动切换外部代理服务器地址的方法
CN103581328A (zh) * 2013-11-14 2014-02-12 广州品唯软件有限公司 产品属性数据的获取方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138872A (zh) * 2016-06-30 2019-08-16 上海智臻智能网络科技股份有限公司 一种用于网络代理的计算机可读介质
CN107943622A (zh) * 2016-10-13 2018-04-20 腾讯科技（深圳）有限公司 备用运维方法、装置和系统
CN107943622B (zh) * 2016-10-13 2021-04-06 腾讯科技（深圳）有限公司 备用运维方法、装置和系统
CN106790674A (zh) * 2017-01-25 2017-05-31 杭州淘淘搜科技有限公司 一种基于adsl的代理集群服务系统及方法
CN109842497A (zh) * 2017-11-24 2019-06-04 贵州白山云科技股份有限公司 Dns服务器的配置更新的方法及装置、终端设备和配置更新系统
CN108055342A (zh) * 2017-12-26 2018-05-18 北京奇艺世纪科技有限公司 一种数据监控方法及装置
CN108055342B (zh) * 2017-12-26 2021-05-04 北京奇艺世纪科技有限公司 一种数据监控方法及装置
CN109257459A (zh) * 2018-11-08 2019-01-22 上海彩亿互联网金融信息服务有限公司 一种提高adsl代理服务主机上网稳定性的判断方法
CN109257459B (zh) * 2018-11-08 2021-07-23 上海及未科技有限公司 一种提高adsl代理服务主机上网稳定性的判断方法
CN112637049A (zh) * 2020-12-16 2021-04-09 广州索答信息科技有限公司 数据抓取系统、方法

Similar Documents

Publication Publication Date Title
CN104320488A (zh) 代理服务器系统及代理服务方法
CN104054316B (zh) 用于对sms中心进行负载平衡和建立虚拟专用网络的系统和方法
US10015243B2 (en) Optimized content distribution based on metrics derived from the end user
CN105450780B (zh) 一种cdn系统及其回源方法
US20120054265A1 (en) Optimized Content Distribution Based on Metrics Derived from the End User
CN107707943B (zh) 一种实现云服务融合的方法及系统
CN103347068B (zh) 一种基于代理集群网络缓存加速方法
US20080243634A1 (en) Providing website hosting overage protection by transference to an overflow server
US20080243536A1 (en) Providing website hosting overage protection by storage on an independent data server
CN107453900B (zh) 一种云解析参数设定管理系统及实现参数设定的方法
CN103117947A (zh) 一种负载分担方法及装置
CN105608207A (zh) 一种基于Redis数据库的数据统计系统及其统计方法
CN103209223A (zh) 分布式应用会话信息共享方法、系统和应用服务器
CN103414608A (zh) 快速的web流量采集统计系统和方法
US10715635B2 (en) Node route selection method and system
CN112954089B (zh) 一种解析数据的方法、装置、设备以及存储介质
CN103347087A (zh) 一种结构化p2p和uddi的服务注册与查找方法和系统
CN109617966A (zh) 一种基于Openstack的云管平台部署系统及方法
CN107347100B (zh) 一种内容分发网络的透明代理转发方法
CN103973819A (zh) 一种响应社区域名请求的方法、相关装置及系统
CN104852964A (zh) 一种多功能服务器调度方法
CN101895550A (zh) 一种互联网网站的兼容动静态内容的缓冲加速系统及方法
CN105025042B (zh) 一种确定数据信息的方法及系统、代理服务器
CN110213398A (zh) 别名管理方法、装置、服务器及存储介质
CN105610991A (zh) 一种dhcp环境下递归解析dns服务器的负载均衡方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160203

Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor

Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD.

Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building

Applicant before: Ctrip computer technology (Shanghai) Co., Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20150128

RJ01 Rejection of invention patent application after publication