CN107566493B - 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统 - Google Patents

一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统 Download PDF

Info

Publication number
CN107566493B
CN107566493B CN201710795303.0A CN201710795303A CN107566493B CN 107566493 B CN107566493 B CN 107566493B CN 201710795303 A CN201710795303 A CN 201710795303A CN 107566493 B CN107566493 B CN 107566493B
Authority
CN
China
Prior art keywords
agent
proxy
user
resources
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710795303.0A
Other languages
English (en)
Other versions
CN107566493A (zh
Inventor
苏马婧
李铁擎
戴琼
姜磊
彭怀梁
童超东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201710795303.0A priority Critical patent/CN107566493B/zh
Publication of CN107566493A publication Critical patent/CN107566493A/zh
Application granted granted Critical
Publication of CN107566493B publication Critical patent/CN107566493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统。首先将不同类型的代理软件分别封装于基础镜像中,基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点,形成代理资源;然后解析用户的需求,根据用户的需求采用调度策略对代理资源进行管理和调度,从而提供满足用户需求的低能耗代理服务。该系统包括云化代理平台、管理控制中心和用户服务中心。本发明通过自建代理资源解决了现有的代理资源有效率低和稳定性差的问题,通过代理资源的统一管理和调度提高了代理资源的使用效率,降低了代理系统中能源的整体消耗,可以有效提高用户使用代理的效率和改善用户的服务质量。

Description

一种面向复杂用户需求的代理节点创建方法、代理服务方法 和系统
技术领域
本发明属于信息技术领域,具体涉及一种面向复杂用户需求的代理节点创建方法以及代理服务方法和系统。
背景技术
网络代理不仅能够显著提高用户的浏览速度和效率,也可以帮助用户突破自身IP访问限制,隐藏用户真实IP等功能,有利于保障用户的隐私和安全,因此在数据采集、行为隐匿等方面有着广泛的应用。
目前,代理资源的主要来源是代理网站(如快代理、代理蚂蚁、站大爷)利用端口扫描等技术从网络中搜集可用的代理资源,然后以网页列表或者API的形式展示,供用户选择和使用。一个完整的代理请求和使用的过程可分为以下三个步骤:(1)用户通过网络爬虫或者API从代理网站中获取代理资源;(2)通过验证操作寻找可用的代理资源;(3)配置代理访问目标网站。
虽然上述代理网站可提供丰富的代理资源供用户选择和使用,但是这些资源存在的一些问题导致其难以高效、稳定地使用:
1.稳定性差。上述网络代理资源的有效时间仅有几分钟至几小时不等,每次使用前均需要进行有效性验证操作。
2.使用效率低。上述网络代理资源的有效率不到5%,在使用前需要进行漫长且耗时的验证操作才可以筛选出少量可用的代理资源。
3.能源浪费。当没有用户使用时,这些代理资源依然处于空闲运行状态,从而导致了这些资源产生能源的浪费问题。
发明内容
本发明的目的在于提供一种面向复杂用户需求的代理服务方案,通过自建代理资源保障代理资源的稳定性,提高用户使用代理资源的效率,同时还可以基于用户的需求通过对代理资源的动态调整来减少系统在运行过程中的能源消耗。
本发明首先提供一种代理节点创建方法,包括以下步骤:
1)将不同类型的代理软件分别封装于基础镜像中;
2)基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点。
进一步地,所述不同类型的代理软件包括支持多代理协议类型、多匿名性、多代理IP的代理软件。
进一步地,所述代理节点包括HTTP代理节点、HTTPS代理节点、SOCKS代理节点。
进一步地,所述基础镜像为基于Docker或基于Openstack的基础镜像。
在上述代理节点创建方法基础上,本发明提供一种面向复杂用户需求的代理服务方法,包括以下步骤:
1)采用上述方法创建代理节点,形成代理资源;
2)解析用户的需求,根据用户的需求采用调度策略对代理资源进行管理和调度,从而提供满足用户需求的代理服务。
进一步地,所述调度策略采用以节约能耗为目标的调度策略,通过减少使用代理节点的数量、压缩代理节点的工作时长、或优先在低功耗的运行环境中创建新的代理节点来降低能源消耗。
进一步地,所述减少使用代理节点的数量包括:当代理系统发现有代理节点处于空闲运行状态时,删除该代理节点,释放该代理节点占用的能源;所述压缩代理节点的工作时长包括:将各用户使用时长相近的代理任务调度到相同的代理节点,从而减少代理节点提供服务的时间来降低能源开销;所述优先在低功耗的运行环境中创建新的代理节点包括:当系统初始化创建代理节点或者需要创建一个新的代理节点时,优先选择具有低功耗的虚拟机或者物理主机来创建代理节点。
本发明还提供一种代理节点创建装置,其包括:
代理软件封装模块,负责将不同类型的代理软件分别封装于基础镜像中;
代理节点建立模块,负责基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点。
本发明还提供一种面向复杂用户需求的代理服务系统,其包括:
云化代理平台,负责在物理主机或虚拟机上采用不同类型的代理软件建立代理节点,提供代理服务;
管理控制中心,负责统一管理和调度代理资源;
用户服务中心,负责向用户提供申请使用网络代理资源的服务,并解析用户请求信息,将解析后的用户请求信息提交至所述管理控制中心,将所述管理控制中心返回的调度结果反馈至用户。
进一步地,所述云化代理平台、所述管理控制中心和所述用户服务中心部署在同一物理主机或虚拟机中;或者,所述云化代理平台部署在分布于相同地域或不同地域的一台或多台物理主机或虚拟机中,所述管理控制中心和所述用户服务中心部署在其它物理主机或虚拟机中。
进一步地,所述管理控制中心包括代理资源池、调度引擎、权限控制模块、验证模块和监控模块;
所述代理资源池,负责存储代理信息和用户使用权限信息;
所述调度引擎,负责根据用户服务中心对用户请求的解析结果,从代理资源池中为用户调度符合用户需求的代理资源,并通知权限控制模块开启相应的资源使用权限;
所述权限控制模块,负责接收调度引擎中的权限开启请求,根据请求信息在代理资源池中为相应的用户开启所分配的代理资源的使用权限;并监控代理资源池中所有用户的使用资源的状况,对于到达使用所分配代理资源的截止时间的用户,关闭其使用权限;
所述验证模块,负责监控代理资源池中的所有代理资源的状态,发现并通知处于异常状态的代理资源,以及删除处于空闲状态的代理资源;
所述监控模块,负责监控其它各模块的运行状态和对系统软硬件资源的健康状况进行实时监测,当出现异常状态时及时进行故障预警。
进一步地,所述用户服务中心包括服务接口模块和用户管理模块;
所述用户管理模块,负责验证申请代理资源的用户身份的合法性;
所述服务接口模块,负责接收用户的代理申请操作,并在通过所述用户管理模块验证后,解析用户请求信息,将解析后的用户请求信息提交至所述管理控制中心的调度引擎,并将调度引擎返回的调度结果反馈至用户。
本发明的技术关键点在于:
1)代理系统部署多种类型的代理节点,可以同时支持多种代理协议类型(如:HTTP、HTTPS、SOCKS),支持多种匿名性(如:匿名、高匿名、透明),同时提供多个代理IP地址;
2)代理节点通过Docker对代理软件进行封装,可以实现代理节点的快速部署、启停、删除等操作;
3)代理系统可基于用户的多样化需求为用户分配代理资源;
4)在进行代理资源调度时,代理系统通过减少代理节点的使用数量、压缩代理节点的运行时间、优先在低功耗(低MIPS)的运行环境中创建新的代理节点等多种方式降低代理系统在运行过程中产生的能耗。
5)将处于空闲运行状态的代理节点删除,减少代理系统的能源浪费。
利用本发明提供的系统在用户申请和使用代理资源的过程中,具有以下优点:
1.通过自建代理资源,解决了现有的代理资源有效率低和稳定性差的问题;
2.通过创建基于Docker的代理服务,大大提高了代理节点的部署效率;
3.通过代理资源的统一管理和调度,提高了代理资源的使用效率;
4.通过使用以节约能耗为目标的资源调度算法,降低了代理系统中能源的整体消耗;
5.可以有效提高用户使用代理的效率和改善用户的服务质量,适用于数据采集、行为隐匿、网络加速等多种应用场景。
附图说明
图1.以节约能耗为目标的资源调度算法流程图。
图2.代理节点创建流程图。
图3.基于云的代理系统框架图。
图4.HTTP匿名代理节点基础镜像创建流程图。
图5.代理服务质量测试结果。
图6.代理系统能耗测试结果。
图7.代理系统QoS保障能力测试结果。
具体实施方式
下面通过具体实施例和附图,对本发明做进一步详细说明。
为了解决现有代理网站提供的代理资源普遍存在的问题,本发明了提供一种面向复杂用户需求的代理服务方案,主要包括以下内容:
(1)自建代理。
由于代理网站提供的网络代理的来源多是利用端口扫描或爬虫等技术从网络中搜集的公开代理,这些资源有效率较低、稳定性较差,且难以管理和控制。本发明的代理系统通过在物理主机或虚拟机上部署一系列代理软件,实现代理功能,形成代理节点,并对相应的资源进行管理和调度,通过这些自己创建的代理资源来为用户提供代理服务,从而保障了资源的有效率和稳定性,同时避免了对代理可用性等功性能的验证流程,所以有利于提高用户使用代理的效率和服务质量。
(2)可扩展的多类型代理服务。
通常一种代理软件(如:Squid、Nginx等)只能够支持一种类型的代理服务,如只支持一种代理协议类型(如:HTTP、HTTPS、SOCKS)、一种匿名性(如:匿名、高匿名、透明)或一个代理IP。为满足用户复杂多样的需求,本发明的代理系统同时管理和部署多个不同类型的代理软件,提供多种类型(多代理协议类型、多匿名性、多代理IP)的代理资源,并可根据需要,对代理类型进行扩展。
(3)基于Docker的代理服务部署。
为了便于代理资源的管理,同时提高资源的部署效率,本发明设计了一种基于Docker(一个开源的应用容器引擎)的代理服务部署的方法。该方法首先将(2)中所述的不同类型的代理软件分别封装于基于Docker的基础镜像中;然后当需要创建新的代理服务时,代理系统可基于相应的Docker基础镜像,在(1)所述的物理主机或虚拟机中进行快速创建和部署Docker容器,以形成代理节点并提供相应的代理服务;当不需要过多的代理节点时,代理系统可通过删除相应的Docker容器以释放资源。
(4)代理资源的统一管理和调度。
由于用户使用代理资源的行为存在波动性,代理系统对代理资源的不合理的调度,可能会存在由于代理资源的部署不及时导致的服务质量下降问题,以及由于用户较少使代理系统存在空闲运行的代理资源导致的能源浪费问题。为了更加高效地使用代理资源,代理系统采用一定的代理资源调度策略来对所有的自建代理资源进行统一地管理和调度,其中,代理资源调度策略,可以采用如下面(5)中的以节约能耗为目标的代理资源调度策略,也可以采用先来先服务等其他资源调度策略。
(5)以节约能耗为目标的代理资源调度策略。
针对代理资源在运行过程中会产生大量的能源消耗的问题,为了节约代理系统能耗,本发明设计了一种以节约能耗为目标的代理资源调度策略(如图1所示,其中创建新的代理节点的资源调度算法如图2所示),该算法的核心思想是通过减少使用代理节点的数量、压缩代理节点的工作时长、优先在低功耗(低MIPS)的运行环境上创建新的代理节点等多种方式降低代理系统总体的能源消耗。其中,所述代理节点的工作时长为所有分配至该代理节点的用户中最大的剩余使用时间;所述的运行环境包括虚拟机、物理主机等,提供可供代理节点运行所需的CPU、内存、网络带宽等资源。减少使用代理节点的数量是指当代理系统发现有代理节点处于空闲运行状态,代理系统将删除该代理节点,释放该代理节点占用的能源;压缩代理节点的工作时长是指将各用户使用时长相近的代理任务调度到相同的代理节点,从而减少代理节点提供服务的时间来降低能源开销;优先在低功耗的运行环境上创建新的代理节点是指当系统初始化创建代理节点或者需要创建一个新的代理节点时,优先选择具有低功耗的虚拟机或者物理主机来创建代理节点。
(6)面向多用户复杂需求的统一代理服务接口。
为同时支持多个用户对不同代理资源的复杂多样化需求,如代理协议类型、匿名性、代理IP所在地域、带宽需求等,本发明的代理系统提供一种面向多用户复杂需求的统一代理服务接口,该接口可以通过Web、配置文件、Restful API等方式获得用户请求参数,对参数进行解析,从系统资源中选择(或根据需求创建)满足用户需求的代理资源。用户请求的参数包括但不限于代理协议类型、匿名性、地代理IP所在地域、代理稳定性、使用时长、请求数量等。
图3描述了本实施例的代理系统的主要框架,由云化代理平台、管理控制中心和用户服务中心三部分组成。云化代理平台部署于分布于不同地域(也可相同地域)的一台或多台物理主机或虚拟机中,其网络接入要求能够对互联网资源进行访问;管理控制中心和用户服务中心部署在一台物理主机或虚拟机中,其网络接入要求能够支持对用户服务中心进行访问。这三部分可位于同一台主机中,但为了提供更多地域和带宽接入的代理资源,云化代理平台可多地部署,具有多个出口IP地址。
1.云化代理平台
云化代理平台基于Docker的容器技术和虚拟化技术实现物理资源(如:CPU、内存、带宽)的统一高效管理和分配,通过将代理软件(如:Squid、Nginx、Polipo、CCProxy)封装于相应的Docker基础镜像,并在部署时为其指定运行所需要的物理资源,形成代理节点,提供代理服务。本发明所述代理节点是指在一定物理资源上(可由物理主机或虚拟机提供)部署相应的代理软件(代理软件可封装于Docker容器中),能够提供一种指定的代理服务功能的软硬件资源之和,按提供代理服务的协议类型可以分为HTTP代理节点、HTTPS代理节点、SOCKS代理节点等。
下面以创建HTTP匿名代理节点的基础镜像为例进行详细地说明。
创建HTTP匿名代理节点的基础镜像所需的软件和环境包括:
1.Centos7基础镜像。Centos7基础镜像可以从DockerHub中进行下载。
2.Squid。Squid是一个高性能的代理缓存服务器,可为用户提供HTTP匿名的代理服务。
3.Mysql_auth。Mysql_auth是一个基于Squid创建的身份验证软件,该软件可以通过读取在Mysql数据库中配置的相应字段来验证使用Squid代理服务器的用户的身份的有效性。
则HTTP匿名代理节点的基础镜像的创建过程如图4所示,该过程主要步骤有:
S1从Docker Hub中获取Centos7基础镜像;
S2利用Docker引擎基于Centos7基础镜像创建相应的容器,并进入容器中;
S3在容器中下载并安装Squid、Mysql_auth软件;
S4在容器中修改相应的配置参数;
S5在Mysql数据库中创建相应的数据表和数据字段;
S6退出容器,并将容器打包成新的基础镜像;
S7成功创建基于Docker的HTTP匿名代理节点的基础镜像。
创建其他类型的代理节点,可以遵循以上步骤,只需要将步骤S3中的软件更改为相应类型的代理软件,并进行配置即可。
2.管理控制中心
管理控制中心主要负责统一管理和调度系统中的代理资源。其主要的功能模块有代理资源池、监控模块、调度引擎、权限控制模块、验证模块。下面详细地介绍每个功能模块的作用和功能:
1)代理资源池:用于存储代理信息和用户使用权限信息。其中,代理信息指的是代理系统管理的处于运行状态的代理资源,主要包括代理的匿名性、代理协议类型、代理IP、代理IP所在的地域、运营商、带宽容量、工作时长等;而用户使用权限信息指的是代理用户对某些代理资源的使用的权限,主要包括用户的身份信息、用户sid、可使用的代理信息等,代理节点可以通过读取用户使用权限信息控制用户的使用权限。当代理系统新增一个代理节点,会在代理资源池中增加一条代理信息,当代理系统删除一个代理节点时,代理资源池中相应的代理信息会被标记或删除;当用户向代理系统注册并申请相应的代理资源使用时,会在代理资源池中生成相应的用户使用权限信息,当用户的使用时长到期后,相应的信息会被更新并标记为到期。
2)调度引擎:根据用户服务中心的服务接口模块对用户请求的解析结果,从代理资源池中为用户调度符合用户需求的代理资源,并通知权限控制模块开启相应的资源使用权限。代理节点数量、服务内容(如:协议类型、使用时长)等根据当前用户的使用需求进行动态地调整。其中,代理资源的调度过程将在后文进行详细地描述。
3)权限控制模块:接收调度引擎中的权限开启请求,并根据请求信息在代理资源池中为相应的用户开启所分配的代理资源的使用权限;监控代理资源池中所有用户的使用资源的状况,对于那些到达使用所分配代理资源的截止时间的用户,该模块将关闭相关用户的使用权限。
4)验证模块:该模块监控代理资源池中的所有代理资源的状态,发现并通知代理系统处于异常状态的代理资源;删除处于空闲状态的代理资源。
5)监控模块:该模块负责监控控制中心中其他模块的运行状态和对系统软硬件资源的健康状况进行实时监测,当系统出现异常状态时及时进行故障预警。
3.用户服务中心
用户服务中心以Web、配置文件、Restful API的形式向用户提供申请使用网络代理资源的服务,用户通过配置系统提供的参数选择符合自身需求的网络代理资源。当用户通过管理控制中心获得某个网络代理节点的使用权后,用户服务中心为该用户开放相应资源的访问权限;当该网络代理节点到达用户申请的使用时限后,用户服务中心自动关闭该用户使用该网络代理节点的权限,并将信息反馈给代理资源池中。用户服务中心的主要功能模块有:
1)服务接口模块:用户在使用代理资源时会基于自身的需求提出多种需求,如:代理协议类型(如:HTTP、HTTPS、SOCKS)、匿名性(如:匿名、透明、高匿名)、代理IP所在地域、带宽需求等。为了满足用户的多样化需求,保障用户可以快速获得所需的代理资源,该模块以Restful API等形式接收用户的代理申请操作,并在通过用户管理模块验证后,解析用户的资源请求参数,将解析后的用户请求信息提交至调度引擎,并将调度引擎返回的调度结果反馈至用户。其中,用户在申请代理时的请求参数如表1所示,而代理系统根据用户的请求反馈的信息如表2所示。表1中的代理稳定性是指在一段连续时间内代理保持连续可用的程度,稳定性高表明这段时间内连续可用,稳定性低表明代理时断时续甚至不可用。
表1用户请求参数列表
Figure BDA0001400190310000081
表2代理信息反馈列表
Figure BDA0001400190310000082
Figure BDA0001400190310000091
2)用户管理模块:该模块用于验证申请资源的用户身份的合法性。只有通过该模块验证的用户才能够获取代理资源。
下面举例说明系统接收用户请求后的处理流程:
当前某个用户需要一个HTTP匿名的代理资源,使用时长为1小时,并且要求该代理资源的代理IP所在地域为北京、带宽需求为1Mbps,该用户以URL的形式向代理系统请求代理资源,其格式为:http://192.169.1.111:3342?sid=xxxxxxx&type=http&duration=1&anonymous=匿名&region=北京&bandwidth=1,用户请求的参数如表1所示,则代理系统的主要处理流程为:
S1解析用户的URL请求;
S2根据用户的sid检查该用户身份的合法性,如果用户身份不合法,则代理系统拒绝为该用户提供代理服务;
S3解析用户代理需求参数,并从代理资源池中筛选出所有HTTP匿名、带宽容量大于1Mbps、代理IP为北京的代理资源。
S4如果筛选出满足该用户需求的代理资源,则执行步骤S9;否则,执行步骤S5;
S5判断是当前是否有HTTP匿名代理的基础镜像,如果没有,则说明代理系统无法为该用户提供所需的代理资源,反馈失败信息,该流程结束;否则,继续执行步骤S6;
S6判断云化代理平台中是否有地点在北京的物理主机或虚拟机,如果没有,则说明代理系统无法为该用户提供所需的代理资源,反馈失败信息,该流程结束;否则,继续执行步骤S7;
S7计算创建新的代理节点所需的物理资源(包括CPU、内存、带宽),判断是否有物理主机或虚拟机满足该代理节点的资源需求,如果没有,则说明代理系统无法为该用户提供所需的代理资源,反馈失败信息(反馈的失败信息如表2所示),该流程结束;否则,继续执行步骤S8;
S8在所有符合代理节点资源需求的物理主机或虚拟机中,选择将MIPS(MillionInstructions Per Second,单字长定点指令平均执行速度)最低的主机并在其中创建新的代理节点,并在代理资源池中更新关于代理节点的相关信息;
S9选择所有符合用户需求的代理节点中工作时长与用户的使用时长(1小时)最接近的代理节点作为分配给该用户的代理节点;其中,代理节点的工作时长指的是为所有分配至该代理节点的用户中最大的剩余使用时间;
S10在Mysql数据库中相应的表中创建相应的字段,以开启用户使用所分配代理的使用权限;
S11反馈成功信息。反馈的成功信息的具体参数如表2所示。
图5所示为采用本发明进行代理服务的质量测试结果,其中柱状图表示代理系统的平均响应时间(单位为:s),折线图表示有效率(单位:%)。在不同的用户规模下,代理系统均展示出良好的可用率,平均有效率达到96.7%,远高于一些网络代理服务商提供网络代理资源的可用率(验证可用率仅为0.5%~4%);在不同的用户规模下,代理系统中的平均响应时间也呈现出稳定变化的趋势,平均响应时间可以控制在10s以内,表明代理系统提供了高可用的代理服务。
图6所示为本发明的代理系统能耗测试结果,其中柱状图表示代理系统的总执行时间(单位为:百小时),折线图表示使用网络代理节点数量。通过对代理系统使用网络代理节点数量和系统总执行时间的测试发现,在用户任务较少且系统资源充足时,代理系统使用少量的网络代理节点即可满足所有用户的任务请求,并将处于空闲运行状况的网络代理节点关闭或者置于休眠状态以减少能源的浪费;在用户任务较多且系统资源有限时,即使使用了所有的网络代理节点,代理系统的总执行时间处于稳定的状态,波动范围较小,说明代理系统可通过控制系统的总执行时间以达到降低代理系统在运行过程中能源消耗的目标。
图7所示为本发明的代理系统QoS保障能力测试结果,其中柱状图表示QoS保障能力,折线图表示请求成功率(单位:%)。当代理系统待处理的用户任务较少且满足所有用户的资源需求时,用户的请求成功率为100%,代理系统的服务质量没有受到影响;在代理系统待处理用户任务过多但可调度的网络代理资源有限时,由于代理系统提供的网络代理资源有限但用户任务数量在不断增多,由于有一部分任务由于无法被成功分配到代理资源,用户请求成功率也在不断下降,但是代理系统的系统QoS保障能力一直处于稳定状态,说明代理系统可以通过优先为高质量用户的任务分配资源的方式提供代理系统的服务质量。
本发明中,所述的云化代理平台除了基于Docker之外,还可以基于Openstack进行虚拟化,实现物理资源的管理调度。
本发明中,所述的代理软件除了使用上述实施例中提到的Squid、Nginx、Polipo、CCProxy之外,还可以使用SSH、Stunnel、Shadowsocks等代理软件进行代理构建。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种面向复杂用户需求的代理服务方法,其特征在于,包括以下步骤:
1)采用以下步骤创建代理节点,形成代理资源:
1.1)将不同类型的代理软件分别封装于基础镜像中;
1.2)基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点;
2)解析用户的需求,根据用户的需求采用调度策略对代理资源进行管理和调度,从而提供满足用户需求的代理服务;所述调度策略采用以节约能耗为目标的调度策略,通过减少使用代理节点的数量、压缩代理节点的工作时长、或优先在低功耗的运行环境中创建新的代理节点来降低能源消耗。
2.如权利要求1所述的方法,其特征在于,所述减少使用代理节点的数量包括:当代理系统发现有代理节点处于空闲运行状态时,删除该代理节点,释放该代理节点占用的能源;所述压缩代理节点的工作时长包括:将各用户使用时长相近的代理任务调度到相同的代理节点,从而减少代理节点提供服务的时间来降低能源开销;所述优先在低功耗的运行环境中创建新的代理节点包括:当系统初始化创建代理节点或者需要创建一个新的代理节点时,优先选择具有低功耗的虚拟机或者物理主机来创建代理节点。
3.如权利要求1所述的方法,其特征在于,所述不同类型的代理软件包括支持多代理协议类型、多匿名性、多代理IP的代理软件。
4.如权利要求1所述的方法,其特征在于,所述代理节点包括HTTP代理节点、HTTPS代理节点、SOCKS代理节点。
5.如权利要求1所述的方法,其特征在于,所述基础镜像为基于Docker或基于Openstack的基础镜像。
6.一种采用权利要求1所述方法的面向复杂用户需求的代理服务系统,其特征在于,包括:
云化代理平台,负责在物理主机或虚拟机上采用不同类型的代理软件建立代理节点,提供代理服务;
管理控制中心,负责统一管理和调度代理资源;
用户服务中心,负责向用户提供申请使用网络代理资源的服务,并解析用户请求信息,将解析后的用户请求信息提交至所述管理控制中心,将所述管理控制中心返回的调度结果反馈至用户。
7.如权利要求6所述的系统,其特征在于,所述云化代理平台、所述管理控制中心和所述用户服务中心部署在同一物理主机或虚拟机中;或者,所述云化代理平台部署在分布于相同地域或不同地域的一台或多台物理主机或虚拟机中,所述管理控制中心和所述用户服务中心部署在其它物理主机或虚拟机中。
8.如权利要求6所述的系统,其特征在于,所述管理控制中心包括代理资源池、调度引擎、权限控制模块、验证模块和监控模块;
所述代理资源池,负责存储代理信息和用户使用权限信息;
所述调度引擎,负责根据用户服务中心对用户请求的解析结果,从代理资源池中为用户调度符合用户需求的代理资源,并通知权限控制模块开启相应的资源使用权限;
所述权限控制模块,负责接收调度引擎中的权限开启请求,根据请求信息在代理资源池中为相应的用户开启所分配的代理资源的使用权限;并监控代理资源池中所有用户的使用资源的状况,对于到达使用所分配代理资源的截止时间的用户,关闭其使用权限;
所述验证模块,负责监控代理资源池中的所有代理资源的状态,发现并通知处于异常状态的代理资源,以及删除处于空闲状态的代理资源;
所述监控模块,负责监控其它各模块的运行状态和对系统软硬件资源的健康状况进行实时监测,当出现异常状态时及时进行故障预警。
9.如权利要求8所述的系统,其特征在于,所述用户服务中心包括服务接口模块和用户管理模块;
所述用户管理模块,负责验证申请代理资源的用户身份的合法性;
所述服务接口模块,负责接收用户的代理申请操作,并在通过所述用户管理模块验证后,解析用户请求信息,将解析后的用户请求信息提交至所述管理控制中心的调度引擎,并将调度引擎返回的调度结果反馈至用户。
CN201710795303.0A 2017-09-06 2017-09-06 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统 Active CN107566493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710795303.0A CN107566493B (zh) 2017-09-06 2017-09-06 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710795303.0A CN107566493B (zh) 2017-09-06 2017-09-06 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统

Publications (2)

Publication Number Publication Date
CN107566493A CN107566493A (zh) 2018-01-09
CN107566493B true CN107566493B (zh) 2020-05-22

Family

ID=60979366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710795303.0A Active CN107566493B (zh) 2017-09-06 2017-09-06 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统

Country Status (1)

Country Link
CN (1) CN107566493B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833197B (zh) * 2018-04-10 2020-10-16 中国科学院信息工程研究所 一种基于云的主动探测方法和探测平台
CN108848149B (zh) * 2018-06-05 2021-01-19 挖财网络技术有限公司 自适应定位http服务最大处理能力的方法及装置
CN109032755B (zh) * 2018-06-29 2020-12-01 优刻得科技股份有限公司 一种容器服务托管系统及提供容器服务的方法
CN109408483A (zh) * 2018-09-14 2019-03-01 厦门天锐科技股份有限公司 基于squid代理服务器的数据存储方法
CN110109666A (zh) * 2019-04-23 2019-08-09 深圳行云创新科技有限公司 一种it基础设施管理维护的方法、装置、系统及存储介质
CN110677510A (zh) * 2019-09-11 2020-01-10 苏州朗动网络科技有限公司 Ip代理池的管理方法、设备和存储介质
CN110838939B (zh) * 2019-10-11 2022-04-08 许继集团有限公司 一种基于轻量级容器的调度方法及边缘物联管理平台
CN111049915B (zh) * 2019-12-17 2023-04-07 书行科技(北京)有限公司 一种容器云下消息队列代理系统及方法
CN111221703A (zh) * 2019-12-23 2020-06-02 曙光信息产业股份有限公司 一种集群nas配置和服务管理的方法及装置
CN111221655B (zh) * 2020-01-08 2023-04-07 山东汇贸电子口岸有限公司 管理OpenStack平台的资源的方法及装置
US20220394081A1 (en) * 2021-06-03 2022-12-08 Mellanox Technologies, Ltd. Providing network quality of service for multiple users
CN113542431B (zh) * 2021-08-02 2024-05-10 北京百度网讯科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113965577B (zh) * 2021-08-31 2024-02-27 联通沃音乐文化有限公司 一种智能切换Socks5代理服务器节点的系统与方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465770B (zh) * 2009-01-06 2011-04-06 北京航空航天大学 入侵检测系统部署方法
CN103106100B (zh) * 2013-02-06 2016-07-13 中电长城网际系统应用有限公司 基于虚拟化技术的应用软件数据信息的处理方法和系统
CN104009904B (zh) * 2014-05-23 2017-09-22 清华大学 面向云平台大数据处理的虚拟网络构建方法及系统
US10628194B2 (en) * 2015-09-30 2020-04-21 Netapp Inc. Techniques for data migration
CN105224867A (zh) * 2015-10-27 2016-01-06 成都卫士通信息产业股份有限公司 一种基于虚拟化环境下的主机安全加固方法
CN105338082A (zh) * 2015-10-30 2016-02-17 浪潮(北京)电子信息产业有限公司 基于应用代理服务器的负载均衡方法及装置
CN106603725A (zh) * 2017-02-03 2017-04-26 济南浪潮高新科技投资发展有限公司 一种企业云服务虚拟镜像管理服务的实现方法
CN106933635B (zh) * 2017-03-15 2020-06-30 北京搜狐新媒体信息技术有限公司 Docker镜像生成方法及Docker容器

Also Published As

Publication number Publication date
CN107566493A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
CN107566493B (zh) 一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统
US7308687B2 (en) Method and system for managing resources in a data center
US8122453B2 (en) Method and system for managing resources in a data center
US10613883B2 (en) Managing virtual machine migration
CN106656867B (zh) 一种基于虚拟网络的应用感知的动态sdn配置方法
US8914513B2 (en) Hierarchical defragmentation of resources in data centers
US9154549B2 (en) Dynamic server farms
US9800655B2 (en) Policy and identity based workload provisioning
US9317325B2 (en) Application idling in a multi-tenant cloud-based application hosting environment
US7721292B2 (en) System for adjusting resource allocation to a logical partition based on rate of page swaps and utilization by changing a boot configuration file
CN104468407B (zh) 实现业务平台资源弹性分配的方法与装置
CN105138389B (zh) 一种集群中虚拟设备的管理方法及系统
US20160306680A1 (en) Thread creation method, service request processing method, and related device
KR20110083084A (ko) 가상화를 이용한 서버 운영 장치 및 방법
CN105024842A (zh) 服务器的扩容方法及装置
CN103957237A (zh) 一种弹性云的体系结构
Nithya et al. SDCF: A software-defined cyber foraging framework for cloudlet environment
KR20160136489A (ko) 클라우드 서비스를 위한 가상화 기반 자원 관리 방법
CN106911741B (zh) 一种虚拟化网管文件下载负载均衡的方法及网管服务器
EP3857970A1 (en) Network slice management
CN106254561A (zh) 一种网络资源文件的实时离线下载方法及系统
CN108111559A (zh) 一种应用软件部署系统及方法
CN103605575A (zh) 一种Cloud Foundry平台应用调度系统及方法
Zheng et al. Towards a resource migration method in cloud computing based on node failure rule
Lago et al. SinergyCloud: A simulator for evaluation of energy consumption in data centers and hybrid clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant