CN102624920B - 一种通过代理服务器进行访问的方法及装置 - Google Patents
一种通过代理服务器进行访问的方法及装置 Download PDFInfo
- Publication number
- CN102624920B CN102624920B CN201210094019.8A CN201210094019A CN102624920B CN 102624920 B CN102624920 B CN 102624920B CN 201210094019 A CN201210094019 A CN 201210094019A CN 102624920 B CN102624920 B CN 102624920B
- Authority
- CN
- China
- Prior art keywords
- server
- proxy
- access
- proxy server
- preferential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004044 response Effects 0.000 claims abstract description 46
- 239000000284 extract Substances 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种通过代理服务器进行访问的方法和装置。所述方法包括：接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。本申请可以帮助用户选择响应速度最快的代理服务器，提高用户的上网速度。
Description
技术领域
本申请涉及计算机领域，特别是涉及一种通过代理服务器进行访问的方法和一种通过代理服务器进行访问的装置。
背景技术
目前，不同的网络运营商之间的跨网访问数据速度非常低，访问国外网站的速度尤其低下。因此，在骨干网上架设代理服务器(Proxy Server)为用户跨网访问是一种提高用户体验最有效的方式。
在一般情况下，用户访问网站时，网络浏览器直接去连接相应Internet站点取得网络信息时，数据从用户所处的网络节点传输到骨干网络，再传输到目标服务器，而数据的返回又进行了同样的操作，不断转发的数据，跳数多，并且中间有路由的延迟，就会造成用户数据传输时间的延长。
代理服务器是介于客户端和目的站点服务器之间的另一台服务器，浏览器不是直接联系目的站点服务器，而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给浏览器。形象的说，它是网络信息的中转站。
由于大部分代理服务器都具有缓冲的功能，就好像一个大的缓存，它不断将新取得数据储存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。
基于网络环境的复杂性，单台代理服务器无法满足不断变化的网络，于是产生了代理服务器集群，用户请求可以通过任何一个代理服务器进行反馈。
以上现有技术中存在的问题是，用户访问同一个目标服务器时，使用代理服务器集群中不同的代理服务器进行访问，响应速度并不相同，无法获知哪台代理服务器的响应速度更快，因此，不能获取最优的响应速度。
发明内容
本申请所要解决的技术问题是提供一种通过代理服务器进行访问的方法，用于帮助用户选择响应速度最快的代理服务器，提高用户的上网速度。
本申请还提供了一种通过代理服务器进行访问的装置，用以保证上述方法在实际中的应用及实现。
为了解决上述问题，本申请公开了一种通过代理服务器进行访问的方法，包括：
接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；
将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
优选的，所述访问所述目标服务器速度的快慢以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定。
优选的，所述确定优先代理服务器的过程由数据分析工具完成。
优选的，所述方法还包括：
判断所述网络资源访问请求是否来自于目标网络，若是，则选择访问所述目标服务器的优先代理服务器，若否，则随机选择一个代理服务器。
优选的，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网。
优选的，所述优先代理服务器通过以下步骤确定：
在各个代理服务器上提取预设时间段内的代理日志；
解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间；
比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为访问所述目标服务器的优先代理服务器。
优选的，所述确定优先代理服务器的过程在确定所访问的目标服务器之后即时进行。
优选的，所述确认优先代理服务器的过程按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新。
优选的，各个目标服务器与其优先代理服务器的对应关系保存在域名解析服务器上。
优选的，所述接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器的步骤进一步包括，接收网络资源访问的请求，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名。
优选的，所述接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器步骤进一步包括，接收网络资源访问的请求，提取请求访问的网络资源地址，对所述网络资源地址进行域名解析，确定对应访问的目标服务器的IP地址。
优选的，所述确定优先代理服务器的过程还包括：
将所述代理日志的格式转换为数据分析工具存储数据的格式。
优选的，所述确定优先代理服务器的过程还包括：
由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列。
优选的，所述代理信息还包括：客户端的IP地址、访问时间、访问地址URL和/或响应状态。
本申请还提供了一种通过代理服务器进行访问的装置，包括：
目标服务器确定模块，用于接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
优先代理服务器选择模块，用于选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；
数据获取模块，用于将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
优选的，所述访问所述目标服务器速度的快慢以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定。
优选的，所述优先代理服务器选择模块由数据分析工具完成。
优选的，所述装置还包括：
目标网络判断模块，用于判断所述网络资源访问请求是否来自于目标网络，若是，则执行优先代理服务器选择模块，若否，则执行随机选择模块，所述随机选择模块用于随机选择一个代理服务器。
优选的，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网。
优选的，所述优先代理服务器选择模块进一步包括：
代理日志提取子模块，用于在各个代理服务器上提取预设时间段内的代理日志；
代理信息解析子模块，用于解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间；
响应时间比较子模块，用于比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
响应时间选择子模块，用于针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为访问所述目标服务器的优先代理服务器。
优选的，所述优先代理服务器选择模块在确定所访问的目标服务器之后即时执行。
优选的，所述优先代理服务器选择模块按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新。
优选的，各个目标服务器与其优先代理服务器的对应关系保存在域名解析服务器上。
优选的，所述目标服务器确定模块进一步包括：
根域名确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名。
优选的，所述目标服务器确定模块进一步包括：
IP地址确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，对所述网络资源地址进行域名解析，确定对应访问的目标服务器的IP地址。
优选的，所述优先代理服务器选择模块还包括：
格式转换子模块，用于将所述代理日志的格式转换为数据分析工具存储数据的格式。
优选的，所述优先代理服务器选择模块还包括：
二维数据序列建立子模块，用于由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列。
优选的，所述代理信息还包括：客户端的IP地址、访问时间、访问地址URL和/或响应状态。
与现有技术相比，本申请具有以下优点：
本申请在用户通过代理服务器访问目标服务器时，选择对所述目标服务器的访问请求的响应时间最短的优先代理服务器进行数据传输，提高了用户的上网速度，提高了用户的上网体验，其中，优先代理服务器通过对相关日志进行统计得出，可以即时统计也可以按照预设频率进行统计，每次统计后及时自动更新优先策略，保证了优先策略实时最新。
附图说明
图1是本申请的一种通过代理服务器进行访问的方法实施例1的流程图；
图2是本申请的一种通过代理服务器进行访问的装置实施例1的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参考图1，示出了本申请的一种通过代理服务器进行访问的方法实施例1的流程图，具体可以包括以下步骤：
步骤101、接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器。
在具体的实现中，所述步骤101可以为，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名，由于目标服务器的根域名和IP地址是一一对应的，因此，也可以对请求访问的网络资源地址进行域名解析，确定目标服务器的IP地址，以IP地址来区分目标服务器。
步骤102、选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器。
在具体的实现中，所述访问所述目标服务器速度的快慢可以以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定。
针对同一目标服务器，用不同的代理服务器访问的速度并不相同，可以通过对代理服务器历史访问速度进行对比，选择在预设时间段内，对该目标服务器响应速度最快的作为本次访问的优先代理服务器。所述确定优先代理服务器的过程可以由数据分析工具完成，优选的，所述数据分析工具可以为Hadoop、Mysql、Infobright或Mongodb。
在具体的实现中，所述优先代理服务器可以通过以下步骤确定：
子步骤S11、在各个代理服务器上提取预设时间段内的代理日志。
代理服务器对各个用户请求的响应状态都记录在代理日志中，在具体的实现中，首先，可以从代理服务器上提取一段时间的代理日志进行分析。若使用数据分析工具进行分析，还需将所述代理日志的格式转换为数据分析工具存储数据的格式。例如Hadoop，因为代理日志的格式跟Hadoop的存储格式不同，需将代理日志分解为一些元数据，元数据可以组合成符合Hadoop规范格式的日志，例如，某个日志转变为Hadoop格式后为，hostname＝prox1.ops.bjt.qihoo.net 20/Feb/2012:14:59:59 +080041233-101.4.60.43TCP_MISS/0 0GET http://10.67.web1.im.weibo.com/im？-DIRECT/180.149.138.67。
子步骤S12、解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间。
解析代理日志可以得到对应的当次代理服务器的访问信息，包括目标服务器的根域名或IP地址、以及对应的响应时间。例如，使用Hadoop脚本对上例中Hadoop格式的日志进行拆解后，可以得到目标服务器的IP地址为http://10.67.web1.im.weibo.com，代理服务器编号为prox1，响应时间为41233 S。
具体的实现中，解析出的代理信息还可以包括客户端的IP地址、访问时间、访问地址URL和/或响应状态。
子步骤S13、比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
子步骤S14、针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为响应的目标服务器的优先代理服务器。
通过提取各个代理日志中的代理信息可以获得访问同一目标服务器时，不同的代理服务器的响应时间，其中，响应时间最短的作为优先代理服务器。优选的，可以将各个目标服务器与其优先代理服务器的对应关系保存在域名解析服务器上。
例如，访问IP地址为http://10.67.web1.im.weibo.com的代理日志有两条，提取出代理信息如下表：
| IP地址 | 代理服务器 | 响应时间/S |
| http://10.67.web1.im.weibo.com | prox1 | 41233 |
| http://10.67.web1.im.weibo.com | prox2 | 30 |
由上表可知，访问请求通过编号为proxy2的服务器进行处理的时间明显要短，因此，将proxy2作为优先代理服务器，并通知域名解析服务器DNS，访问http://10.67.web1.im.weibo.com的请求统一解析到prox2代理服务器上。
若使用Hadoop进行数据分析，可以将代理日志以行为单位进行存储，每行由若干的数据单元进行连接，形成一个字符串；使用Hadoop脚本mapper.php逐行读取代理日志，并解析出代理信息，在解析所述代理日志中的代理信息之后，由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列，建立类似sql一样的数据表，第一维为若干关键字的记录，第二维为多条记录；然后使用reducer.php归并mapper.php的解析结果，使用filter.php对reducer.php归并的结果进行统计分析，提取优先代理服务器。
在本申请的一种优选实施例中，所述生成优先代理服务器的过程可以在确定所访问的目标服务器之后即时进行。
在本申请的另一种优选实施例中，所述生成优先代理服务器的过程可以按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新，将本次计算的结果跟上次进行比较，当发现某个URL访问各个服务器的速度最高值的服务器跟上次不一样，则更新结果记录。
步骤103、将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
本申请的一种通过代理服务器进行访问的方法实施例2具体可以包括以下步骤：
步骤201、接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
步骤202、判断所述网络资源访问请求是否来自于目标网络用户，若是，则执行步骤204，若否，则执行步骤203。
步骤203、随机选择一个代理服务器。
步骤204、选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；
与上个实施例不同的是，本实施例在依据网络资源访问请求确定目标服务器之后，还需要判断所述网络资源访问请求是否来自于目标网络，若是，则选择优先代理服务器对数据进行数据传输，若否，则在代理服务器集群中随机选择一个代理服务器。
其中，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网，目前这三种网络内的用户访问外网的速度非常慢，特别是教育网用户，基本无法访问国外网站。为解决这个问题，已有浏览器针对教育网用户推出了通过代理服务器进行访问的功能，可以使教育网用户通过访问代理服务器访问外网。依据本实施例，可以在教育网用户进行访问时，选择历史响应速度最快的优先代理服务器进行数据传输，可以进一步使得教育网用户访问外网的速度大大提高。
步骤205、将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
综上所述，本申请在用户通过代理服务器访问目标服务器时，选择对所述目标服务器的访问请求的响应时间最短的优先代理服务器进行数据传输，提高了用户的上网速度，提高了用户的上网体验。其中，优先代理服务器通过对相关日志进行统计得出，可以即时统计也可以按照预设频率进行统计，每次统计后及时更新优先策略，保证了优先策略实时最新。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
参考图2，示出了本申请的一种通过代理服务器进行访问的装置实施例1的结构框图，具体可以包括以下模块：
目标服务器确定模块301，用于接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
优先代理服务器选择模块302，用于选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；
数据获取模块303，用于将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
优选的，所述访问所述目标服务器速度的快慢可以以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定。
优选的，所述优先代理服务器选择模块进一步包括：
代理日志提取子模块，用于在各个代理服务器上提取预设时间段内的代理日志；
代理信息解析子模块，用于解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间；
响应时间比较子模块，用于比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
响应时间选择子模块，用于针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为访问所述目标服务器的优先代理服务器。
在本申请的一种优选实施例中，所述优先代理服务器选择模块可以在获取所访问的目标服务器之后即时执行。
在本申请的另一种优选实施例中，所述优先代理服务器选择模块可以按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新。
在具体的实现中，各个目标服务器与其优先代理服务器的对应关系可以保存在域名解析服务器上。
在本申请的一种优选实施例中，所述目标服务器确定模块可以包括：
根域名确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名。
在本申请的一种优选实施例中，所述目标服务器确定模块可以包括：
IP地址确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，对所述网络资源地址进行域名解析，确定对应访问的目标服务器的IP地址。
在本申请的一种优选实施例中，所述优先代理服务器选择模块可以由数据分析工具完成，优选的，所述数据分析工具可以为Hadoop、Mysql、Infobright或Mongodb。
优选的，所述优先代理服务器选择模块还可以包括：
格式转换子模块，用于将所述代理日志的格式转换为数据分析工具存储数据的格式。
优选的，所述优先代理服务器选择模块还可以包括：
二维数据序列建立子模块，用于由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列。
优选的，所述代理信息还可以包括：客户端的IP地址、访问时间、访问地址URL和/或响应状态。
本申请的一种通过代理服务器进行访问的装置实施例2具体可以包括以下模块：
目标服务器确定模块401，用于接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
目标网络判断模块402，用于判断所述网络资源访问请求是否来自于目标网络，若是，则执行优先代理服务器选择模块404，若否，则执行随机选择模块403；
随机选择模块403，用于随机选择一个代理服务器。
优先代理服务器选择模块404，用于选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器；
数据获取模块405，用于将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
优选的，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网。
由于所述装置实施例基本相应于前述方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种通过代理服务器进行访问的方法，以及，一种通过代理服务器进行访问的装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (26)
1.一种通过代理服务器进行访问的方法，其特征在于，包括：
接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器，所述相关日志包括代理日志，所述访问所述目标服务器速度的快慢以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定，所述响应时间从所述代理日志中提取；
将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
2.如权利要求1所述的方法，其特征在于，所述确定优先代理服务器的过程由数据分析工具完成。
3.如权利要求1所述的方法，其特征在于，还包括：
判断所述网络资源访问请求是否来自于目标网络，若是，则选择访问所述目标服务器的优先代理服务器，若否，则随机选择一个代理服务器。
4.如权利要求3所述的方法，其特征在于，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网。
5.如权利要求2所述的方法，其特征在于，所述优先代理服务器通过以下步骤确定：
在各个代理服务器上提取预设时间段内的代理日志；
解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间；
比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为访问所述目标服务器的优先代理服务器。
6.如权利要求1所述的方法，其特征在于，所述确定优先代理服务器的过程在确定所访问的目标服务器之后即时进行。
7.如权利要求1所述的方法，其特征在于，所述确认优先代理服务器的过程按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新。
8.如权利要求6或7所述的方法，其特征在于，各个目标服务器与其优先代理服务器的对应关系保存在域名解析服务器上。
9.如权利要求5所述的方法，其特征在于，所述接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器的步骤进一步包括，接收网络资源访问的请求，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名。
10.如权利要求5所述的方法，其特征在于，所述接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器步骤进一步包括，接收网络资源访问的请求，提取请求访问的网络资源地址，对所述网络资源地址进行域名解析，确定对应访问的目标服务器的IP地址。
11.如权利要求5所述的方法，其特征在于，所述确定优先代理服务器的过程还包括：
将所述代理日志的格式转换为数据分析工具存储数据的格式。
12.如权利要求5所述的方法，其特征在于，所述确定优先代理服务器的过程还包括：
由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列。
13.如权利要求5所述的方法，其特征在于，所述代理信息还包括：客户端的IP地址、访问时间、访问地址URL和/或响应状态。
14.一种通过代理服务器进行访问的装置，其特征在于，包括：
目标服务器确定模块，用于接收网络资源访问的请求，根据所述网络资源访问请求，确定对应访问的目标服务器；
优先代理服务器选择模块，用于选择访问所述目标服务器的优先代理服务器，所述优先代理服务器是指，通过对相关日志进行统计，确定的访问所述目标服务器速度最快的代理服务器，所述相关日志包括代理日志，所述访问所述目标服务器速度的快慢以比较各代理服务器对所述目标服务器的访问请求的响应时间来确定，所述响应时间从所述代理日志中提取；
数据获取模块，用于将网络资源访问请求发送到所述优先代理服务器，由所述优先代理服务器从目标服务器获取数据并返回。
15.如权利要求14所述的装置，其特征在于，所述优先代理服务器选择模块由数据分析工具完成。
16.如权利要求14所述的装置，其特征在于，还包括：
目标网络判断模块，用于判断所述网络资源访问请求是否来自于目标网络，若是，则执行优先代理服务器选择模块，若否，则执行随机选择模块，所述随机选择模块用于随机选择一个代理服务器。
17.如权利要求16所述的装置，其特征在于，所述目标网络是指教育网(CERNET)、企业网或虚拟局域网。
18.如权利要求15所述的装置，其特征在于，所述优先代理服务器选择模块进一步包括：
代理日志提取子模块，用于在各个代理服务器上提取预设时间段内的代理日志；
代理信息解析子模块，用于解析所述代理日志中的代理信息，所述代理信息包括各次代理所访问目标服务器的根域名或IP地址，以及对应的响应时间；
响应时间比较子模块，用于比较访问同一根域名或IP地址所对应的不同的代理服务器的响应时间；
响应时间选择子模块，用于针对同一根域名或IP地址，选择响应时间最短的代理服务器，作为访问所述目标服务器的优先代理服务器。
19.如权利要求14所述的装置，其特征在于，所述优先代理服务器选择模块在确定所访问的目标服务器之后即时执行。
20.如权利要求14所述的装置，其特征在于，所述优先代理服务器选择模块按照预设频率执行，并依据最新生成结果对优先代理服务器进行更新。
21.如权利要求19或20所述的装置，其特征在于，各个目标服务器与其优先代理服务器的对应关系保存在域名解析服务器上。
22.如权利要求18所述的装置，其特征在于，所述目标服务器确定模块进一步包括：
根域名确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，根据所述网络资源地址确定对应访问的目标服务器的根域名。
23.如权利要求18所述的装置，其特征在于，所述目标服务器确定模块进一步包括：
IP地址确定子模块，用于接收网络资源访问的请求，提取请求访问的网络资源地址，对所述网络资源地址进行域名解析，确定对应访问的目标服务器的IP地址。
24.如权利要求18所述的装置，其特征在于，所述优先代理服务器选择模块还包括：
格式转换子模块，用于将所述代理日志的格式转换为数据分析工具存储数据的格式。
25.如权利要求18所述的装置，其特征在于，所述优先代理服务器选择模块还包括：
二维数据序列建立子模块，用于由各条代理日志和解析得到的代理信息的对应关系，建立二维数据序列。
26.如权利要求18所述的装置，其特征在于，所述代理信息还包括：客户端的IP地址、访问时间、访问地址URL和/或响应状态。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510509630.6A CN105100260B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
| CN201210094019.8A CN102624920B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210094019.8A CN102624920B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510509630.6A Division CN105100260B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102624920A CN102624920A (zh) | 2012-08-01 |
| CN102624920B true CN102624920B (zh) | 2015-09-16 |
Family
ID=46564602
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510509630.6A Expired - Fee Related CN105100260B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
| CN201210094019.8A Active CN102624920B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510509630.6A Expired - Fee Related CN105100260B (zh) | 2012-03-31 | 2012-03-31 | 一种通过代理服务器进行访问的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN105100260B (zh) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595702B (zh) * | 2012-08-17 | 2018-06-22 | 中兴通讯股份有限公司 | 内容提供设备的选取方法及装置 |
| CN103634129B (zh) * | 2012-08-22 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 一种设置代理服务器的方法及装置 |
| CN103678311B (zh) | 2012-08-31 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 基于中转模式的网页访问方法及系统、抓取路径服务器 |
| CN102932434B (zh) * | 2012-10-17 | 2015-10-14 | 北京奇虎科技有限公司 | 一种用于对服务器进行负载均衡的方法及装置 |
| CN103051720B (zh) * | 2012-12-25 | 2016-05-25 | 华为技术有限公司 | Hadoop集群内部节点通信方法、设备及系统 |
| CN103347068B (zh) * | 2013-06-26 | 2016-03-09 | 江苏省未来网络创新研究院 | 一种基于代理集群网络缓存加速方法 |
| CN103297564B (zh) * | 2013-07-03 | 2016-12-28 | 深圳市共进电子股份有限公司 | 一种自动切换外部代理服务器地址的方法 |
| CN104954320B (zh) * | 2014-03-25 | 2019-12-06 | 北京奇虎科技有限公司 | 一种建立连接的方法、装置及系统 |
| CN104506549A (zh) * | 2014-12-31 | 2015-04-08 | 北京奇虎科技有限公司 | 建立网游连接的方法、设备及系统 |
| CN104580224B (zh) * | 2015-01-14 | 2018-06-01 | 北京京东尚科信息技术有限公司 | 一种网络连接方法和装置以及计算机系统 |
| CN106528563A (zh) * | 2015-09-11 | 2017-03-22 | 腾讯科技（深圳）有限公司 | 一种内容访问方法和装置 |
| CN105281976A (zh) * | 2015-09-17 | 2016-01-27 | 国网北京市电力公司 | 代理服务数据的传输监测方法及装置 |
| CN106547793A (zh) * | 2015-09-22 | 2017-03-29 | 北京国双科技有限公司 | 获取代理服务器地址的方法和装置 |
| CN105245607B (zh) * | 2015-10-23 | 2018-12-14 | 中国联合网络通信集团有限公司 | 代理服务器动态自动选择方法及系统 |
| CN106921699A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种网络访问方法、装置和系统 |
| CN107241371B (zh) * | 2016-03-29 | 2020-04-07 | 中国移动通信集团湖北有限公司 | 应用数据消息处理方法、移动终端及系统 |
| CN106101055A (zh) * | 2016-04-29 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种多数据库的数据访问方法及其系统和代理服务器 |
| CN110138872B (zh) * | 2016-06-30 | 2022-02-25 | 上海智臻智能网络科技股份有限公司 | 一种用于网络代理的计算机可读介质 |
| CN106412079B (zh) * | 2016-10-20 | 2019-04-16 | 福建天泉教育科技有限公司 | 请求处理方法及系统 |
| CN108063714B (zh) * | 2016-11-09 | 2021-02-12 | 北京国双科技有限公司 | 一种网络请求的处理方法及装置 |
| CN106790608B (zh) * | 2016-12-29 | 2020-05-22 | 北京奇艺世纪科技有限公司 | 一种服务器的选择方法和装置 |
| CN106899681B (zh) * | 2017-03-10 | 2020-10-27 | 腾讯科技（深圳）有限公司 | 一种信息推送的方法以及服务器 |
| CN107483609B (zh) * | 2017-08-31 | 2018-08-28 | 深圳市迅雷网文化有限公司 | 一种网络访问方法、相关设备和系统 |
| CN107896241B (zh) * | 2017-10-23 | 2020-12-18 | 东软集团股份有限公司 | 网络访问速度的探测方法、装置、存储介质和电子设备 |
| CN107819872A (zh) * | 2017-11-22 | 2018-03-20 | 聚好看科技股份有限公司 | 请求网络数据的方法及装置 |
| CN108512897A (zh) * | 2018-02-08 | 2018-09-07 | 深圳市欧乐在线技术发展有限公司 | 一种网络连接恢复方法及装置 |
| CN108494860B (zh) * | 2018-03-28 | 2021-08-27 | 百度在线网络技术（北京）有限公司 | Web访问系统、用于客户端的web访问方法和装置 |
| CN109981645A (zh) * | 2019-03-26 | 2019-07-05 | 北京芯盾时代科技有限公司 | 一种通信方法及装置 |
| CN110311957B (zh) * | 2019-06-14 | 2022-03-15 | 平安科技（深圳）有限公司 | 服务器负载均衡方法及相关设备 |
| CN112565473B (zh) * | 2019-09-10 | 2023-07-18 | 阿里巴巴集团控股有限公司 | 访问控制系统和方法、电子设备以及计算机可读存储介质 |
| CN110851753B (zh) * | 2019-11-07 | 2023-09-26 | 亿企赢网络科技有限公司 | 一种网站的访问方法、装置、设备及存储介质 |
| CN113364818B (zh) * | 2020-03-03 | 2022-08-30 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
| CN111756850B (zh) * | 2020-06-29 | 2022-01-18 | 金电联行（北京）信息技术有限公司 | 一种服务于互联网数据采集的代理ip请求频率自动调整方法及系统 |
| CN112073274B (zh) * | 2020-09-08 | 2023-02-03 | 张立旭 | 一种动态选择反向代理服务器的远程访问方法及系统 |
| CN112235402B (zh) * | 2020-10-14 | 2023-04-07 | 杭州安恒信息技术股份有限公司 | 一种网络回源方法、网络回源系统及相关装置 |
| CN112637339A (zh) * | 2020-12-22 | 2021-04-09 | 北京东方嘉禾文化发展股份有限公司 | 网络加速方法及装置、电子设备及存储介质 |
| CN112637333A (zh) * | 2020-12-22 | 2021-04-09 | 畅捷通信息技术股份有限公司 | 一种客户端智能代理方法 |
| CN113055498B (zh) * | 2021-05-26 | 2021-10-01 | 天聚地合(苏州)数据股份有限公司 | 数据源访问方法、装置、存储介质及设备 |
| CN113923260B (zh) * | 2021-09-28 | 2024-01-09 | 盐城天眼察微科技有限公司 | 一种对代理环境进行处理的方法、装置、终端及存储介质 |
| CN114285899A (zh) * | 2021-11-30 | 2022-04-05 | 同程网络科技股份有限公司 | 一种流量代理方法、系统、智能终端及存储介质 |
| CN114979099B (zh) * | 2022-04-14 | 2024-02-23 | 天津车之家软件有限公司 | 一种目标服务访问方法、模块及系统 |
| CN115396509A (zh) * | 2022-08-09 | 2022-11-25 | 上海宝创网络科技有限公司 | 一种基于IPv6网络代理服务的处理访问受限的方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510874A (zh) * | 2009-03-20 | 2009-08-19 | 腾讯科技（深圳）有限公司 | 网络连接设置系统及方法、网络通讯工具及方法 |
| CN101931635A (zh) * | 2009-06-18 | 2010-12-29 | 北京搜狗科技发展有限公司 | 网络资源访问方法及代理装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6925461B2 (en) * | 2001-12-17 | 2005-08-02 | At&T Corp. | Parallel random proxy usage for large scale web access |
| US9083722B2 (en) * | 2007-10-05 | 2015-07-14 | Qualcomm Incorporated | Session initiation protocol registration with ping |
| CN102355458B (zh) * | 2011-09-16 | 2014-08-20 | 四川长虹电器股份有限公司 | 一种提高网络接入成功率的方法 |
-
2012
- 2012-03-31 CN CN201510509630.6A patent/CN105100260B/zh not_active Expired - Fee Related
- 2012-03-31 CN CN201210094019.8A patent/CN102624920B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510874A (zh) * | 2009-03-20 | 2009-08-19 | 腾讯科技（深圳）有限公司 | 网络连接设置系统及方法、网络通讯工具及方法 |
| CN101931635A (zh) * | 2009-06-18 | 2010-12-29 | 北京搜狗科技发展有限公司 | 网络资源访问方法及代理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105100260A (zh) | 2015-11-25 |
| CN102624920A (zh) | 2012-08-01 |
| CN105100260B (zh) | 2018-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102624920B (zh) | 一种通过代理服务器进行访问的方法及装置 | |
| US20170255706A1 (en) | Methods and apparatus to track web browsing sessions | |
| CN103685583B (zh) | 一种域名解析的方法和系统 | |
| CN105187396A (zh) | 识别网络爬虫的方法及装置 | |
| CN102752288A (zh) | 网络访问行为识别方法和装置 | |
| CN101355587B (zh) | Url信息获取方法和装置及搜索引擎实现方法及系统 | |
| CN104158919A (zh) | 网页访问实现方法、服务器和客户端 | |
| CN103714119B (zh) | 一种浏览器数据的处理方法和装置 | |
| CN102968451B (zh) | 浏览器格式页面中加载网址数据的方法和客户端 | |
| CN104202360A (zh) | 访问网页的方法、装置及路由器 | |
| CN101833570A (zh) | 一种移动终端页面推送优化的方法和装置 | |
| CN104092791A (zh) | 一种综合质量与成本的互联网内容资源调度方法和系统 | |
| CN105704171B (zh) | 实现cdn访问的系统和方法 | |
| CN103167044A (zh) | 域名系统dns的智能解析的方法、拨测装置和系统 | |
| CN104052832A (zh) | 设置域名解析服务器的ip地址的方法、装置及服务器 | |
| CN102045403A (zh) | 分布式网络数据处理方法和装置及系统 | |
| CN102904765B (zh) | 数据上报的方法及设备 | |
| CN103377064A (zh) | 一种页面脚本的加载方法及装置 | |
| CN110855766A (zh) | 一种访问Web资源的方法、装置及代理服务器 | |
| CN103207877B (zh) | 解码方法及装置 | |
| CN108073693A (zh) | 一种基于Hadoop的分布式网络爬虫系统 | |
| CN107171889A (zh) | 网络应用接口的测试方法、装置及电子设备 | |
| CN109561167A (zh) | 一种域名解析方法及装置 | |
| CN104967698A (zh) | 一种爬取网络数据的方法和装置 | |
| CN104361067A (zh) | 一种浏览器网页信息的智能加载方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: BEIJING QIHU TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: QIZHI SOFTWARE (BEIJING) CO., LTD. Effective date: 20121106 Owner name: QIZHI SOFTWARE (BEIJING) CO., LTD. Effective date: 20121106 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100016 CHAOYANG, BEIJING TO: 100088 XICHENG, BEIJING |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20121106 Address after: 100088 Beijing city Xicheng District xinjiekouwai Street 28, block D room 112 (Desheng Park) Applicant after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Applicant after: Qizhi software (Beijing) Co.,Ltd. Address before: The 4 layer 100016 unit of Beijing city Chaoyang District Jiuxianqiao Road No. 14 Building C Applicant before: Qizhi software (Beijing) Co.,Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220727 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |