CN103827828B - 用于在流量指挥站环境中提供负载平衡与数据压缩的灵活性的系统及方法 - Google Patents

Abstract

本文所描述的是供用于负载平衡器或流量指挥站及其管理的系统及方法，其中流量指挥站是作为基于软件的负载平衡器提供的，它可以用于交付快速、可靠、可缩放且安全的平台，用于负载平衡到后端起源服务器的互联网及其它流量，其中的起源服务器诸如web服务器、应用服务器或其它资源服务器。根据一种实施例，所述系统包括具有一个或多个流量指挥站实例的流量指挥站，其中流量指挥站配置为从客户端接收请求并且把请求传送到具有一个或多个服务器池的起源服务器。描述了用于在这种流量指挥站或其它环境中提供主动‑被动路由、浪涌保护和速率加速、起源服务器的动态发现、配置http负载平衡时的灵活性和/或动态高速缓存数据解压缩的系统及方法。

Description

用于在流量指挥站环境中提供负载平衡与数据压缩的灵活性 的系统及方法

版权声明

本专利文档公开内容的一部分包含受版权保护的素材。版权所有人不反对任何人对专利文档或专利公开内容按照在专利商标局的专利文件或记录中出现那样进行的传真复制，但是除此之外在任何情况下都保留所有版权。

优先权保护

本申请要求以下专利申请的优先权利益：于2011年9月27日提交且标题为“SYSTEMS AND METHODS FOR USE WITH AN APPLICATION SERVER TRAFFIC DIRECTOR(COREFEATURES)”的美国临时专利申请No.61/539,886；于2011年9月27日提交且标题为“SYSTEMSAND METHODS FOR USE WITH AN APPLICATION SERVER TRAFFIC DIRECTOR(ADMINFEATURES)”的美国临时专利申请No.61/539,900；于2012年8月31日提交且标题为“SYSTEMAND METHOD FOR PROVIDING ACTIVE-PASSIVE ROUTING IN A TRAFFIC DIRECTORENVIRONMENT”的美国专利申请No.13/601,087；于2012年8月31日提交且标题为“SYSTEMAND METHOD FOR SURGE PROTECTION AND RATE ACCELERATION IN A TRAFFIC DIRECTORENVIRONMENT”的专利申请No.13/601,428；于2012年8月31日提交且标题为“SYSTEM ANDMETHOD FOR DYNAMIC DISCOVERY OF ORIGIN SERVERS IN A TRAFFIC DIRECTORENVIRONMENT”的美国专利申请No.13/601,530；于2012年8月31日提交且标题为“SYSTEMAND METHOD FOR PROVIDING FLEXIBILITY IN CONFIGURING HTTP LOAD BALANCING IN ATRAFFIC DIRECTOR ENVIRONMENT”的美国专利申请No.13/601,632；及于2012年9月24日提交且标题为“SYSTEM AND METHOD FOR DYNAMIC CACHE DATA DECOMPRESSION IN ATRAFFIC DIRECTOR ENVIRONMENT”的美国专利申请No.13/625,716，这些申请中每一个通过引用被结合于此。

技术领域

本发明一般而言涉及用在应用服务器、中间件机器或其它计算环境中的负载平衡器或流量指挥站，而且更具体地说，涉及用于在流量指挥站或其它环境中提供主动-被动路由、浪涌保护和速率加速、起源服务器的动态发现、配置http负载平衡的灵活性和/或动态高速缓存数据解压缩的系统及方法。

背景技术

典型的企业级计算环境会包括许多不同类型的计算资源（例如，web服务器、应用服务器、数据库服务器或者其它类型的资源服务器），这些资源要由其它计算机或者操作各种不同类型计算设备的用户经网络（例如，公司的内部以太网，或者互联网）访问。一个熟悉的例子是客户端计算机的使用，诸如配备web浏览器应用的笔记本电脑，通过该web浏览器应用，用户可以经互联网访问web服务器。

如今的机构越来越依赖于他们的计算资源不论什么时候都可以具有高性能水平地、很容易地从几乎任何地点获得。确保这种资源有效分配的任务常常需要使用负载平衡设备根据其分配策略以公平的方式分配客户端对目标资源的请求。这些是本发明实施例可以与其一起使 用的环境的类型。

发明内容

本文所描述的是供用于负载平衡器或流量指挥站及其管理的系统及方法。根据一种实施例，流量指挥站，在本文有些实施例中被称为“Oracle流量指挥站”（OTD），是作为一种基于软件的负载平衡器提供的，它可以用于交付快速、可靠、可缩放且安全的平台，用于负载平衡到后端起源服务器的互联网及其它流量，其中起源服务器诸如web服务器、应用服务器或其它资源服务器。

流量指挥站的实施例在应用服务器、中间件机器及类似的高性能企业级计算环境，诸如Oracle WebLogic和Exalogic环境，中特别有用。

根据一种实施例，该系统包括具有一个或多个流量指挥站实例的流量指挥站，流量指挥站配置为从客户端接收请求并把请求传送到具有一个或多个服务器池的起源服务器。根据一种实施例，该系统包括提供由起源服务器在接收请求时使用的通信协议或套接字的高速网络基础设施；供所述通信协议或套接字使用的一个或多个协议终接器/仿真器；及入站套接字配置和出站套接字配置，这两个配置一起指示流量指示器应当使用哪个终接器/仿真器把请求传送到特定的起源服务器。

根据一种实施例，起源服务器池配置为使得该池中至少一个或多个服务器被指定为主服务器，而且该池中至少一个或多个其它服务器被指定为备用服务器。流量指挥站配置为使得它确定池中主服务器的可用性，并且在池包括足量的可用主服务器时把请求只指引到主服务器。

根据一种实施例，位于流量指挥站的流量监视器监视流量指挥站实例与起源服务器中一个或多个资源服务器之间的流量，包括连接的个数。流量指挥站可以设置控制流量的流量速率，包括连接的个数，以便提供浪涌保护，或者速率加速/减速。

根据一种实施例，健康检查子系统周期性地检查其所配置的资源服务器的健康状况，并且还通过向池中配置为起源服务器的任何新服务器实例发送请求、接收适当的响应并且相应地更新配置来尝试检测一个或多个池中的变化。

根据一种实施例，该系统包括高速网络基础设施，该基础设施提供由起源服务器在接收请求时使用的通信协议或套接字；供所述通信协议或套接字使用的一个或多个协议终接器/仿真器；及入站套接字配置和出站套接字配置，这两个配置一起指示流量指示器应当使用哪个终接器/仿真器把请求传送到特定的起源服务器。

根据一种实施例，流量指挥站可以配置为压缩存储在其高速缓存中的数据，并且通过把来自起源服务器的内容作为压缩数据提供或者，如果特定的客户端更愿意接收数据的非压缩变体的话，通过在提供它之前动态解压缩该数据对来自客户端的请求作出响应。根据一种实施例，流量指挥站可以配置为使用硬件辅助的压缩基元，以进一步改善其数据压缩和解压缩的性能。

附图说明

图1根据一种实施例说明了包括负载平衡器或流量指挥站的计算环境。

图2根据一种实施例说明了流量指挥站对一个或多个池或起源服务器的使用。

图3根据一种实施例说明了流量指挥站体系架构。

图4根据一种实施例说明了流量指挥站管理环境和接口。

图5根据一种实施例说明了流量指挥站中主动/被动路由的使用。

图6根据一种实施例进一步说明了流量指挥站中主动/被动路由的使用。

图7是根据一种实施例、用于在流量指挥站中提供主动/被动路由的方法的流程图。

图8根据一种实施例说明了流量指挥站中浪涌保护的使用。

图9根据一种实施例说明了流量指挥站中速率加速的使用。

图10是根据一种实施例、用于在流量指挥站中提供浪涌保护的方法的流程图。

图11是根据一种实施例、用于在流量指挥站中提供速率加速的方法的流程图。

图12根据一种实施例说明了流量指挥站中起源服务器的动态发现。

图13根据一种实施例进一步说明了流量指挥站中起源服务器的动态发现。

图14是根据一种实施例、用于在流量指挥站中提供起源服务器的动态发现的方法的流程图。

图15是根据一种实施例、用于在流量指挥站中提供起源服务器的动态发现的另一种方法的流程图。

图16根据一种实施例说明了流量指挥站的使用。

图17是根据一种实施例、用于使用流量指挥站的方法的流程图。

图18根据一种实施例说明了流量指挥站环境中动态HTTP解压缩的使用。

图19是根据一种实施例、用于在流量指挥站环境中提供动态HTTP解压缩的方法的流程图。

图20根据一种实施例说明了对供流量指挥站环境中动态HTTP解压缩使用的硬件基元的支持。

具体实施例

如上所述，如今的机构越来越依赖于他们的计算资源在无论什么时候都可以具有高性能水平地、很容易地从几乎任何地点获得。确保这种资源有效分配的任务常常需要使用负载平衡设备根据其分配策略以公平的方式分配客户端对目标资源的请求。

本文所描述的是供负载平衡器或流量指挥站及其管理使用的系统及方法。根据一种实施例，流量指挥站，在本文有些实施例中被称为“Oracle流量指挥站”（OTD），是作为一种基于软件的负载平衡器提供的，它可以用于交付快速、可靠、可缩放且安全的平台，用于负载平衡到后端起源服务器的互联网及其它流量，其中起源服务器诸如web服务器、应用服务器或其它资源服务器。

流量指挥站的实施例在应用服务器、中间件机器及类似的高性能企业级计算环境，诸如Oracle WebLogic和Exalogic环境，中特别有用。

根据一种实施例，流量指挥站充当诸如超文本传输协议（HTTP）和超文本传输协议安全（HTTPS）请求的流量的入口点，这些请求是从客户端或者客户端设备接收的，用于传送到充当起源服务器的资源或资源服务器的后端。每个流量指挥站包括一个或多个由配置定义的流量指挥站实例，其中该配置提供关于那个实例的各种元素的信息，诸如监听者、起源服务器、故障转移组，以及日志。

可以和该系统一起使用的客户端类型的例子包括计算机服务器、笔记本电脑、诸如智能电话的便携式设备，以及其它类型的计算设备，这些设备中的一些可以包括例如用于访问web服务器的web浏览器应用。

可以用作起源服务器的资源类型的例子包括轻量级目录访问协议（LDAP）服务器、web服务器、多媒体服务器、应用服务器、数据库服务器，以及其它类型的资源。

根据一种实施例，流量指挥站可以执行任务，诸如基于一种或多种负载平衡方法把请求分配到起源服务器；基于规定的规则路由请求；高速缓存被频繁访问的数据；给流量排优先级；以及控制服务质量。

从性能的角度看，根据一种实施例，流量指挥站可以包括使其能够以低等待时间处理大量流量的体系架构。例如，实施例可以为了在高性能计算环境，诸如像OracleExalogoc Elastic Cloud，中使用或 者为了利用高性能通信构架，诸如像InfiniBand，与位于后端的起源服务器通信而进行优化。根据一种实施例，为了支持高可用性，流量指挥站可以识别流量指挥站实例中提供主动-被动或主动-主动故障转移的故障转移组。随着到网络的流量量增加，流量指挥站环境可以通过利用它可以把请求路由到其的附加后端服务器重新配置流量指挥站，或者通过修改流量传送的速率，而被缩放。

从管理的角度看，根据一种实施例，流量指挥站设计为容易安装、配置和使用；并且可以包括简单的、向导驱动的图形接口，以及健壮的命令行接口，让管理员在管理流量指挥站实例的时候使用。对于任何特定的机构，依赖于他们的商业需求，诸如他们想为其使用流量指挥站来平衡请求的后端应用的个数、诸如安全性的内部需求，以及他们希望使用的流量指挥站特征，流量指挥站的拓扑结构可以变化，以解决他们的需求。例如，一种简单的流量指挥站拓扑结构可能最初使用运行在专用计算节点上并且向位于后端的服务器池分配客户端请求的单个流量指挥站实例。为了避免单点故障，管理员可以配置运行在不同节点上并且形成主动-被动故障转移对的两个同源流量指挥站实例。为了改善资源利用率，管理员可以利用两个虚拟IP地址配置处于主动-主动模式的两个流量指挥站实例。

术语表

根据一种实施例，使用以下术语。很显然，根据其它实施例，附加的和/或不同的术语也可以使用。

配置：确定流量指挥站实例的运行时行为的可配置元素（例如，元数据）的集合。根据一种实施例，一种典型的配置包含流量指挥站应当在其上监听请求的监听者的定义（例如，IP地址与端口的组合），连同关于请求应当发送至的位于后端的服务器的信息。当流量指挥站实例启动时，以及在处理客户端请求时，流量指挥站可以读取该配置。

实例（流量指挥站实例）：根据配置实例化并且部署在管理节点 或管理服务器上的流量指挥站服务器。

集群：根据同一个配置创建的两个或多个流量指挥站实例的集合。

故障转移组：通过虚拟IP地址（VIP）分组的两个或多个流量指挥站示例。根据一种实施例，故障转移组在主动-被动模式中提供高可用性；其中请求在VIP接收并路由到被指定为主实例的实例；如果该主实例不可到达，则请求路由到备用实例。根据一种实施例，对于主动-主动故障转移，需要两个故障转移组，每个组具有唯一的VIP，但是两个组包括具有颠倒的主和备用角色的相同节点；故障转移组中的每个实例对于一个VIP被指定为主实例，对于另一个VIP被指定为备用的。

管理服务器：托管包括管理控制台和命令行接口在内的接口的专门配置的流量指挥站实例，管理员可通过这些接口创建流量指挥站配置、把它们部署成作为管理节点上的实例，并且管理这些实例。

管理节点：被指定为管理员可以在其上部署流量指挥站实例的主机的物理服务器。根据一种实施例，在给定的节点上，管理员只能部署一种配置的一个实例。

INSTANCE_HOME：管理服务器或管理节点上管理员的选择的一个目录，其中存储关于流量指挥站实例的配置数据与二进制文件。

ORACLE_HOME：管理员的选择的一个目录，管理员在其中安装流量指挥站二进制文件。

管理控制台：管理服务器上基于web的图形接口，管理员可以使用它来创建、部署和管理流量指挥站实例。

客户端：根据一种实施例，把请求（例如，HTTP和HTTPS请求）发送到流量指挥站实例的代理（例如，web浏览器或应用）。可以与本系统一起使用的客户端类型的例子包括计算机服务器、笔记本电脑、诸如智能电话的便携式设备，以及其它类型的计算设备，这些设备中的一些可以包括例如用于访问web服务器的web浏览器应用。

起源服务器：根据一种实施例，位于后端的资源或服务器，流量指挥站把它从客户端接收到的请求转发到其，并且从其接收对客户端请求的响应。可以用作起源服务器的资源类型的例子包括轻量级目录访问协议（LDAP）服务器、web服务器、多媒体服务器、应用服务器、数据库服务器，以及其它类型的资源。

起源-服务器池：托管相同的应用或服务并且管理员可以通过使用流量指挥站进行负载平衡的起源服务器的集合。根据一种实施例，流量指挥站基于特定于那个池的负载分配方法把客户端请求分配到起源-服务器池中的服务器。

虚拟服务器：流量指挥站实例中提供唯一的IP地址（或主机名）与端口组合的虚拟实体，通过其，流量指挥站可以为对一个或多个域的请求进行服务。根据一种实施例，一个节点上的流量指挥站实例可以包含多个虚拟服务器。管理员可以专门为每个虚拟服务器配置诸如进入的连接的最大个数的配置，并且还可以定制每个虚拟服务器如何处理请求。

图1根据一种实施例说明了包括负载平衡器或流量指挥站的计算环境。如图1中所示，根据一种实施例，流量指挥站100（在本文有些实施例中被称为Oracle流量指挥站（OTD））可以部署在一个或多个物理计算机服务器101（或者包括处理器（CPU）、内存和储存器的类似计算设备）上，并且可以包括一个或多个流量指挥站实例102、104，流量指挥站实例又可以利用高可用性心跳或类似手段106彼此通信。

对于任何特定的机构，依赖于他们的商业需求，诸如他们想为其使用流量指挥站来平衡请求的后端应用的个数、诸如安全性的内部需求，以及他们希望使用的流量指挥站特征，流量指挥站的拓扑结构可以变化，以解决他们的需求。后端可以包括一个或多个起源服务器110，其例子可以包括LDAP服务器114、web服务器118、多媒体服务器122、应用服务器126以及数据库服务器128。根据一种实施 例，应用服务器可以是WebLogic服务器（WLS）。依赖于机构的特定需求，可以使用其它类型的起源服务器，以及应用服务器。每个起源服务器可以经诸如以太网网络的内部网络130彼此通信，并且与流量指挥站通信。

根据一种实施例，流量指挥站可以经外部网络136、互联网138，以及在许多机构的情况下是防火墙139，从客户端134接收请求。可以与本系统一起使用的客户端类型的例子包括计算机服务器、笔记本电脑、诸如智能电话的便携式设备，以及其它类型的计算设备，这些设备中的一些可以包括例如用于访问web服务器的web浏览器应用。

图2根据一种实施例说明了流量指挥站对一个或多个池或起源服务器的使用。在图2所说明的例子中，流量指挥站与两个池一起使用，包括具有在这里指示为A172、B174、C176、D178的四个应用服务器的（第一）应用服务器池170；及具有在这里指示为A182、B184、C186的三个web服务器的（第二）web服务器池。根据其它实施例和例子，依赖于机构的特定需求，可以使用其它类型与数量的池和服务器。

在图2所说明的例子中，拓扑结构包括形成主动-被动故障转移组150并且包括用于客户端请求接收的单个虚拟IP地址190的两个流量指挥站实例（102和104）。当主动实例（在这个例子中是实例102）接收请求190、192、194时，它确定请求应当发送至的服务器池，并且基于为那个池规定的负载分配方法把请求197、198转发到那个池中的一个服务器。

虽然图2中所示的例子说明了位于后端的两个服务器池的使用，但是管理员可以把流量指挥站配置为把请求路由到多个池中的服务器。在图2所说明的主动-被动设置中，在任何时间点故障转移组中都有一个节点是冗余的。根据一种实施例，为了改善资源利用率，管理员可以利用两个虚拟IP地址在主动-主动模式中配置两个流量指挥站实例；在这种场景下，每个实例设法满足（cater to）在一个虚拟 IP地址上接收的请求，并且备份另一个实例。

图3根据一种实施例说明了流量指挥站体系架构。根据一种实施例，流量指挥站可以包括使它能够以低等待时间处理大流量量的体系架构。实施例还可以为了在高性能计算环境中使用或者为了利用高性能通信构架与位于后端的起源服务器通信而进行优化。

如图3中所示，根据一种实施例，流量指挥站可以包括一个或多个Netscape便携式运行时（NSPR）202和网络安全性服务（NSS）206层。根据一种实施例，流量指挥站还可以包括具有一个或多个访问控制212、日志214、HTTP压缩216、I/O过滤器218、错误处理220、速率整形222、入侵检测224或其它部件的HTTP引擎210；以及具有一个或多个http客户端232、响应客户端234、健康检查236、路由策略238、负载控制240、负载平衡器244、WLS支持246、粘性路由248或其它部件的反向代理服务器部件230。根据一种实施例，流量指挥站还可以包括具有一个或多个接收器线程252、工作者线程254、保持活动线程256或其它部件的HTTP连接处理器250。根据一种实施例，流量指挥站还可以包括具有一个或多个TCP线程262、负载平衡器264或其它部件的TCP连接处理器260。根据一种实施例，流量指挥站还可以包括一个或多个事件调度270、动态配置72、监视274或其它部件。

很显然，根据其它实施例，可以使用附加的和/或不同的部件。

图4根据一种实施例说明了流量指挥站管理环境和接口。从管理的角度看，流量指挥站设计为容易安装、配置和使用；并且可以包括简单的、向导驱动的图形接口，以及健壮的命令行接口，让管理员在管理流量指挥站实例的时候使用。如图4中所示，根据一种实施例，流量指挥站可以包括一个或多个流量指挥站实例280、281、282，其中这些实例中至少一个被指定为管理服务器（280），而其它实例被指定为管理节点（281、282）。

根据一种实施例，管理环境284包括管理接口285，管理接口285又包括管理控制台（GUI）286和/或命令行接口288中的一个或 多个，使管理员290能够配置或以别的方式管理292流量指挥站，或者其实例294、296。

主动-被动路由

在有些主动-被动路由方法中，负载平衡器维持第一服务器集群作为主（即，主动）集群，而另一个服务器集群作为备用（即，被动）集群。这是灾难性恢复的情形下是有用的，由此，当主数据中心发生故障时，流量自动地路由到备用的数据中心。根据一种实施例，流量指挥站采用细致入微的（nuanced）方法，由此，流量指挥站只有在所有主动节点都发生故障之后才挑选备用节点。

根据一种实施例，在服务器池中，一些起源服务器可以被规定为主服务器，而其它被规定为备用服务器。如果至少一个主服务器可用，则流量指挥站将把请求只路由到非备用服务器（即，路由到主服务器）。但是，如果没有主服务器可用，则流量指挥站将把请求路由到池中的备用服务器。一旦有任何主服务器再次变得可用，流量指挥站就将停止把请求发送到备用服务器，并且将把后续请求路由到该主服务器。

图5根据一种实施例说明了流量指挥站中主动/被动路由的使用。如图5中所示，主动/被动环境可以包括在把请求路由到起源服务器346时使用的、具有一个或多个流量指挥站实例342的流量指挥站340。起源服务器可以配置为一个或多个服务器池（在这里示为池A348和池B354），每个池具有一个或多个主服务器350、357以及一个或多个备用服务器356、358。

如图5中所说明的，流量指挥站可以配置为使得，对于任何特定的池（例如，池A），如果那个池中至少有一个主服务器可用，则最初流量指挥站将把请求只路由344到非备用服务器（即，主服务器），并且将不把请求路由到（为了说明，在这里加阴影的）备用服务器。

根据一种实施例，在一段时间之后，虽然一个或多个主服务器可 能由于故障而变得不可用，但是如果至少有一个主服务器可用，则流量指挥站将继续只把请求路由360到那个池中的主服务器。

在另一段时间之后，根据一种实施例，如果池中所有主服务器都变得不可用，则流量指挥站将代替地把请求路由364到该池中的备用服务器。

图6根据一种实施例进一步说明了流量指挥站中主动/被动路由的使用。如图6中所示，如果池中所有主服务器仍然不可用，则流量指挥站将继续把请求路由366到该池中的备用服务器。

当一个主服务器再次变得可用时368，依赖于配置，流量服务器可以在开始把流量转发到（新的或者以别的方式现在可用的）主服务器之前延迟一段时间。在这种情况下，流量指挥站将继续370把请求路由到备用服务器一段时间，并且还不把请求路由到（为了说明，在这里加阴影的）主服务器。

随后，一旦至少一个主服务器再次完全可用，如果至少一个主服务器可用，则流量指挥站将再次把请求只路由到非备用服务器（即，主服务器），并且将不把请求路由到备用服务器。

根据一种实施例，在配置粘性路由的情况下，如果一个主服务器变得不可用，则粘着到该服务器的所有后续请求将不被拒绝，而是将路由到其它主服务器或者如果没有主服务器可用的话就路由到备用服务器。由于过渡起源服务器可能没有为粘性请求存储的会话信息，因此，在这种情况下，会话将有可能失败。但是，新的提供服务的服务器可以挑战（challenge）发送者并且建立用于那些粘性请求的新会话。备用服务器将只在所有主服务器都不可用的时候才用于路由。

根据一种实施例，为了配置供流量指挥站使用的主动/被动路由，称为“backup-server”的元素可以添加在server.xml文件中的元素<origin-server>中，用于规定备用服务器，其参数和例子分别在表1和列表1中提供。

表1

列表1

图7是根据一种实施例、用于在流量指挥站中提供主动/被动路由的方法的流程图。如图7中所示，在步骤380，提供流量指挥站环境，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个服务器池的起源服务器。在步骤382，以主动-被动配置，一个或多个主服务器及一个或多个备用服务器被指定给一个池。在步骤384，流量指挥站确定池中主服务器的可用性，并且在该池包括足量的可用主服务器时把请求只送往主服务器。根据一种实施例，如果至少一个主服务器可用，则流量指挥站将把请求只路由到非备用服务器（即，主服务器）。在步骤386，如果池中主服务器数量不足（根据一种实施例，这是小于一，即，没有主服务器），则流量指挥站将把请求送往池中的备用服务器，直到主服务器的个数变得再次可用。在那个时候，依赖于配置，在池包括足量服务器的时候，流量指挥站可以再次把请求只送往主服务器。

浪涌保护

负载平衡器可以帮助防止将由于到例如起源服务器的非预期流量浪涌造成的服务器耗损。根据一种实施例，通过监视到起源服务器的流量并且在需要的时候给连接排队，使得流量不超过某个浪涌限值，流量指挥站提供了智能的浪涌保护形式。

根据一种实施例，当启用浪涌保护时，流量指挥站将不打开比所配置容量更多的到服务器的并发连接。这个限值或最大容量可以由元素<max-connections>规定。如果起源服务器达到其最大连接容量， 则不会有需求新连接的请求被路由到这个服务器，直到其现有连接中的一些被释放。如果所有起源服务器都已经达到它们的连接容量，则需要新连接的后续请求将被拒绝，并发送错误消息。

图8根据一种实施例说明了流量指挥站中浪涌保护的使用。如图8中所示，提供流量指挥站环境，包括具有一个或多个流量指挥站实例402的流量指挥站400，以及具有一个或多个服务器池422的起源服务器420。每个服务器池可以包括一个或多个资源服务器424。

根据一种实施例，流量指挥站包括流量监视器404，该监视器使流量指挥站能够监视流量指挥站实例与起源服务器中一个或多个资源服务器之间的流量，包括连接406的个数。根据一种实施例，流量指挥站还包括连接队列408，这个队列可以用于把连接排队。

在操作过程中，在来自客户端的请求传送到起源服务器的同时，流量监视器接收反馈430，该反馈描述流量指挥站与资源服务器之间的流量，包括连接的个数。如果流量监视器确定流量指挥站与特定资源服务器之间的流量，包括连接的个数，超过那个资源服务器所允许的最大数量，则流量指挥站可以暂时性地把后续流量和连接指离该资源服务器并且送往连接队列434，这个队列具有暂时性地减少或限制436流到那个资源服务器的流量量的效果。

根据一种实施例，流量指挥站可以可选地例如向日志文件或者向管理员提供440翔实的消息442，以通知他们流量浪涌以及采取的动作。流量监视器可以继续监视到起源服务器的流量/连接，用于随后在需要的时候对连接队列进行调整。

速率整形（加速/减速）

根据一种实施例，流量指挥站还支持请求速率加速，与用大量流量淹没那些服务器形成对比，通过逐渐加速到新添加的服务器的流量，这允许服务器到起源服务器池的适度添加。请求速率加速是自适应的，因为它可以结合多个动态监视的参数，诸如主动连接的个数或者当前的负载、连接的最大个数或者起源服务器的容量。该特征还可 以扩展成提供请求速率减速，由此流量指挥站可以有效地斜坡减少（ramp down）送往一个起源服务器的流量，使得在其流量完全停顿时管理员可以让它脱机，例如，为了所计划的维护目的。速率加速和减速一起可以用于整形流量到起源服务器的速率。

根据一种实施例，当起源服务器变得联机时，流量指挥站将不立即以其全容量向该服务器发送请求，而是经一段时间逐渐增加发送速率。这可以提供几个好处：例如，当起源服务器起动时，它将需要某个时间段来加载数据并分配各种资源；在这个热身过程中，起源服务器的响应时间会慢，并且向该服务器发送大量请求将使该服务器的性能甚至更差并且可能造成该服务器非预期的行为。此外，如果起源服务器有问题，则它有可能不能响应请求中的一些或全部，而且其状态可能在“UP”和“DOWN”状态之间频繁地改变；对于这种服务器，最好不要在其“UP”状态开始时向其发送许多请求。此外，如果使用诸如最少连接计数的负载平衡算法，则流量指挥站可以向新服务器发送许多请求并且可以在开始时候就向该服务器泛洪（flood），因为新服务器的连接计数将是零；速率加速可以减轻这个问题。

根据一种实施例，流量指挥站将逐渐增加到新服务器的流量速率，直到速率达到该服务器的配置的最大速率（max-connections）。速率加速可以经连接容量调整来实现，而且容量的调整可以是基于时间的（即，按每个单位时间固定值地增加连接容量）或者是基于窗口的（即，在其接收到某个数量的响应之后增加连接容量一个值）。

图9根据一种实施例说明了流量指挥站中速率加速的使用。如图9中所示，同样提供了流量指挥站环境，包括具有一个或多个流量指挥站实例452的流量指挥站450，以及具有一个或多个服务器池472的起源服务器470。每个服务器池可以包括一个或多个（现有的）资源服务器474。流量指挥站同样包括流量监视器454，该监视器使流量指挥站能够监视流量指挥站实例与起源服务器中一个或多个资源服 务器之间的流量，包括连接456的个数。

根据一种实施例，流量指挥站可以设置最初控制流量指挥站实例与起源服务器中一个或多个（现有）资源服务器之间流量的流量速率458，包括连接476的个数。

随后，如果流量监视器确定流量指挥站可以向其送流量的起源服务器中附加（新）资源服务器480的存在481，则流量监视器可以等一段时间，在有些情况下，在逐步整形或调整指引流量指挥站实例与那些新资源服务器486之间的流量/连接的流量速率484之前，把流量维持在其初始速率482。

请求速率整形（加速/减速）与前面描述过的浪涌保护特征不同–虽然这两个机制都可以用于限制请求流量，但它们是基于不同的准则；具体而言，速率整形基于请求的属性采取限制动作，而浪涌保护主要是基于到起源服务器的并发连接的数量。

根据一种实施例，可以使用用于连接容量调节的基于时间的方法以及称为“ramp-up-time”的配置参数，该参数规定流量指挥站花多少时间把发送速率斜坡上升到服务器的配置容量：

Adjusted-Connection-Capacity=MAX{(max-connections*MIN{1,server-up-time/ramp-up-time}),1}

当启用请求速率加速时，调整后的容量而不是配置的硬限值（最大连接）会被流量指挥站用于作路由决定。如上所述，如果所有服务器都到达它们的调整后的连接容量，则新请求将被拒绝。

根据一种实施例，为了配置供流量指挥站使用的浪涌保护和请求速率加速，称为“max-connections”和“ramp-up-time”的元素可以加在用于期望资源服务器的server.xml文件中的元素<origin-server>中，其参数和例子分别在表2和列表2中提供。

表2

列表2

图10是根据一种实施例、用于在流量指挥站中提供浪涌保护的方法的流程图。如图10中所示，在步骤490，提供流量指挥站环境，，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个服务器池的起源服务器。在步骤492，位于流量指挥站的流量监视器监视流量指挥站实例与起源服务器中的一个或多个资源服务器之间的流量，包括连接的个数。在步骤494，如果流量监视器确定流量指挥站实例与特定的资源服务器之间的流量，包括连接的个数，超过那个资源服务器允许的最大量，则流量指挥站将暂时地把后续流量和连接指离该资源服务器并且送往连接队列。在步骤496，流量指挥站可以可选地向例如日志文件或者向管理员提供翔实的消息，以通知流量浪涌，并且将继续监视到起源服务器的流量/连接，用于随后在需要的时候对连接队列进行调整。

图11是根据一种实施例、用于在流量指挥站中提供速率加速的方法的流程图。如图11中所示，在步骤502，同样提供流量指挥站 环境，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个服务器池的起源服务器。在步骤504，利用来自流量监视器的信息，流量指挥站可以设置最初控制流量指挥站实例与起源服务器中的一个或多个资源服务器之间的流量，包括连接的个数，的流量速率。在步骤506，流量监视器可以确定起源服务器中流量指挥站可以把流量送往其的附加（新）资源服务器的存在。在步骤508，在逐渐整形或调整流量速率之前，流量指挥站可以等待一段时间，以指引流量指挥站实例和那些新资源服务器之间的流量/连接。

虽然在图11中没有说明，但是如上所述，根据一种实施例，类似的技术可用于监视并逐步整形或调整流量速率，以便减速流量到现有资源服务器的流量，例如，使得服务器在其流量完全停顿时可以脱机。

起源服务器的动态发现

根据一种实施例，通过动态发现起源服务器并且检测它们的服务器类型和/或其它属性，流量指挥站使得管理员容易把起源服务器添加到服务器池。

例如，根据一种实施例，当管理员启用动态发现时，流量指挥站可以动态地发现服务器池中被支持的/识别出的应用服务器。从流量服务器的角度看，知道它是充当通用应用服务器类型的代理服务器（即，代理）还是识别出的诸如WebLogic服务器的服务器类型是有用的，因为它帮助流量指挥站应用特定于服务器类型的路由、节流及其它优化。这种优化可以由系统自动地应用，而不需要管理员进一步的手动配置。

从向后端起源服务器作出请求的客户端的角度看，虽然那些请求由流量服务器稍有些透明地路由到起源服务器，但是流量指挥站发现起源服务器类型以及应用特定于服务器的优化的能力在使用识别出的服务器类型的任何时候都提供性能优点。

根据一种实施例，如果管理员想创建代表所识别出的被管理服务 器类型，例如WebLogic服务器，的集群的起源服务器池，他们不需要将集群中的每个被管理的服务器规定为起源服务器。而是，把被管理的服务器中任何一个规定为该池中的起源服务器就足够了。然后，流量指挥站可以动态地发现该集群中其它WebLogic服务器实例的存在，并且把客户端请求既分配到配置为起源服务器的被管理的服务器，又分配到同一集群中动态发现的被管理的服务器。

类似地，当启用动态发现时，如果集群中被管理的服务器中任何一个被停止、添加或除去，则管理员不需要更新起源-服务器池的定义。

根据使用WebLogic服务器的一种实施例，每个WebLogic服务器实例包括其自己的反向代理服务器模块或插件，它可以把进入的HTTP流量代理到后端应用服务器，并且可以响应于健康检查请求而提供特定于WebLogic的响应首部。例如，x-weblogic-jvmid响应首部可以指示当前WebLogic服务器节点的JVMID；x-weblogic-cluster-hash响应首部可以提供WebLogic集群节点的哈希值并且因此指示集群何时被修改；而x-weblogic-cluster-list响应首部可以返回对应于一个集群中那些WebLogic服务器的JVMID列表。

当动态发现对WebLogic环境中的起源服务器池启用时，流量指挥站可以如下发现池中剩余的WebLogic起源服务器：

首先，当流量指挥站实例起动时，通过向每个已配置的起源服务器发送HTTP健康检查请求，它检查池中所规定的起源服务器是否是WebLogic管理的服务器，以及该服务器是否属于一个集群。对于任何特定的起源-服务器池，流量指挥站发送的用于动态发现的HTTP请求类型都可以是当前为那个池配置的健康检查请求类型。利用类似于以上所述那些的响应首部，起源服务器的响应将指示那个服务器是否是WebLogic管理的服务器。如果起源服务器是属于一个集群的WebLogic管理的服务器，则该响应也将包括该集群中被管理的服务器的列表。

根据一种实施例，当流量指挥站接收到具有x-weblogic-cluster- hash和x-weblogic-cluster-list响应首部的响应时，流量指挥站将首先使用哈希值响应首部来确定集群是否被修改，并且，如果是的话就将解析剩余的响应首部，例如，

x-weblogic-cluster-list;JVMID\!dns/hex-ip\!port\!https-

port|JVMID\!dns/hex-ip\!port\!https-port

以确定用于该集群中新添加的WebLogic服务器的JVMID、端口以及附加信息，然后把这些添加到服务器池。

接下来，流量指挥站使用来自起源服务器的响应中的信息关于发现的被管理的服务器更新其配置。根据一种实施例，动态发现的起源服务器继承了为所配置的起源服务器规定的所有属性，例如，权重或最大连接。

随后，在为起源-服务器池配置的每个周期性的健康检查间隔，通过向池中配置为起源服务器的那些WebLogic服务器实例发送动态发现健康检查请求，流量指挥站尝试检测集群中的变化。如果响应指示从前一次健康检查开始集群中的变化，诸如被管理的服务器的去除或添加，则流量指挥站将利用新的动态发现的起源服务器集合更新配置。

虽然以上描述使用WebLogic作为一种说明，但是根据其它实施例，类似的技术可以用于发现服务器池中其它类型的被支持/被识别的起源服务器。动态发现的起源服务器不是永久性地存储在实例的配置中的起源-服务器池定义中。照此，当流量指挥站实例重新启动时，由那个实例进行的动态发现过程重新开始。

根据一种实施例，动态发现特征不缺省启用。管理员可以通过使用管理控制台或命令行接口（CLI）来启动动态发现。当起源-服务器池被修改时，这实际上是修改配置，因此，为了让任何更新后的起源-服务器池设置生效，对应的配置应当重新部署。

图12根据一种实施例说明了流量指挥站中起源服务器的动态发现。如图12中所示，管理员290可以利用管理接口285与流量指挥站600交互292并管理其，管理接口285又包括管理控制台（GUI） 和/或命令行接口中的一个或多个。流量指挥站可以包括一个或多个流量指挥站实例602，并且可以把请求传送到具有一个或多个服务器池610的起源服务器608。每个服务器池可以包括一个或多个（现有的）资源服务器，诸如资源服务器A612。

根据一种实施例，流量指挥站包括健康检查子系统604，以及配置606，其中该配置提供关于流量指挥站实例的各种元素的信息，诸如监听者、起源服务器、故障转移组，及日志。

配置最初可以被管理员修改，以指示特定的起源-服务器池包括特定的资源服务器。然后，在为那个起源-服务器池配置的每个周期性健康检查间隔，例如，通过发送HTTP健康检查请求613并且从资源服务器A接收适当的响应614，健康检查子系统检查其配置的资源服务器中每一个的健康状况。

根据一种实施例，当启用动态发现时，在为那个起源-服务器池配置的每个周期性健康检查间隔，通过向该池中配置为起源服务器的任何新服务器实例发送动态发现健康检查请求616并且接收适当的响应617，流量指挥站还尝试检测池中的变化，诸如资源服务器B615。动态发现的服务器只适用于通过其发现该节点的服务器池。然后，流量指挥站将利用这个新的动态发现的起源服务器集合620更新618其配置。

根据使用WebLogic服务器实例的一种实施例，当动态发现对一个起源-服务器池启用时，健康检查子系统检查该池中规定的起源服务器是否是WebLogic管理的服务器，以及所述服务器是否属于一个集群。如上所述，起源服务器的响应首部可以指示那个服务器是WebLogic管理的服务器并且，如果起源服务器是属于一个集群的WebLogic管理的服务器，则响应还将包括该集群中被管理的服务器的列表。

图13根据一种实施例进一步说明了流量指挥站中起源服务器的动态发现。如前所述，当启用动态发现时，在为一个起源-服务器池配置的每个周期性健康检查间隔，通过向任何新的服务器实例发送动 态发现健康检查请求，并且利用新的动态发现的起源服务器集合更新其配置，流量指挥站检查它配置的资源服务器中每一个的健康状况，并且还尝试检测池中的变化。

如图13中进一步示出的，配置可以包括用于池中每个配置的起源服务器的属性，在这个例子中包括资源服务器A属性622。根据一种实施例，动态发现的起源服务器继承了为所配置的起源服务器规定的所有属性，例如，权重或最大连接。例如，流量指挥站可以动态地把所发现的资源服务器B配置为起源服务器，使得其属性623继承所配置的资源服务器A的那些属性（与其相同）。

随后，如果流量指挥站检测到池中进一步的变化，诸如新的资源服务器C624，则通过后续的健康检查625、626，流量指挥站可以类似地把资源服务器C配置为起源服务器，使得其属性627也继承所配置的资源服务器A的那些属性（与其相同）。

根据一种实施例中，可以与所配置或发现的资源服务器关联的服务器属性类型的例子包括：

权重：起源服务器可以配置为具有不同的负载权重–依赖于所配置的权重，流量指挥站将把进入的请求负载送往这个服务器。

斜坡上升时间：起源服务器可以配置为具有斜坡上升时间，使得进入的请求负载不立即送往该起源服务器。

最大连接：起源服务器可以配置为支持最大并发连接个数。

备用服务器：一个池中的一个起源服务器可以配置为备用服务器，在这种情况下，流量指挥站将不把请求路由到那个服务器，除非池中所有其它不指示为备用服务器的服务器都标记为脱机。

根据使用WebLogic的一种实施例，如果起源服务器的响应指示服务器是WebLogic管理的服务器并且属于一个集群，则响应还将包括该集群中被管理的服务器的列表。流量指挥站使用来自起源服务器的响应中的信息，以利用发现的被管理的服务器来更新其配置。例如，如果一个特定的起源服务器池具有配置：

列表3

那么，如果流量指挥站发现了运行在“nsapi.us.oracle.com:7012”的WebLogic服务器节点，则它将利用与“nsapi.us.oracle.com:7011”相同的（即，继承的）属性来配置那个起源服务器。

图14是根据一种实施例、用于在流量指挥站中提供起源服务器的动态发现的方法的流程图。如图14中所示，在步骤632，提供流量指挥站环境，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个服务器池的起源服务器。在步骤634，流量指挥站（根据一种实施例，其健康检查子系统）在启动时和/或周期性地请求起源服务器中先前已经被管理员配置的那些资源服务器的健康检查。在步骤636，流量指挥站的健康检查子系统接收来自位于起源服务器的一个或多个动态发现的资源服务器（例如，WebLogic服务器）的响应。在步骤638，流量指挥站使用从动态发现的资源服务器接收到信息更新流量指挥站配置，包括在适当的时候继承来自先前配置的起源服务器的属性。

图15是根据一种实施例、用于在流量指挥站中提供起源服务器的动态发现的另一种方法的流程图。特别地，图15说明了使用WebLogic服务器的实施例，使得，当对一个起源-服务器池启用动态发现时，流量指挥站可以发现该池中新的或者附加的WebLogic起源 服务器。

如图15中所示，在步骤642，流量服务器起动并且调用健康检查子系统（步骤643），以便对已配置的池执行健康检查（步骤644）。

在步骤645，如果健康检查完成，则系统可以前去加载现有的配置（步骤646、647）、加载新的配置（步骤648、650）或者执行动态重新配置（步骤649）。

在步骤651，如果起源服务器是WebLogic服务器，并且配置为集群（步骤653），则该过程比较集群列表（步骤656），并且在适当的时候利用新节点更新配置（步骤657、659）。否则，服务器可以标记为联机并且该过程可以继续（步骤652、654、658）。

根据一种实施例，为了动态发现供流量指挥站使用的动态发现路由，称为“dynamic-server-discovery”的元素可以为那个服务器规定，其例子在表3中提供。

表3

对于高性能计算环境配置负载平衡

根据一种实施例，当用作用于高性能计算环境，诸如具有高速InfiniBand网络基础设施的Exalogic中间件机器，的局部负载平衡器时，流量指挥站的负载平衡可以设计成与该环境的网络体系架构无缝地工作。

InfiniBand是提供点到点双向串行链路并且一般性地设计成用于具有高速外设备，诸如盘，的处理器的连接的开关构架通信链路。不同的协议可以用于经InfiniBand架构通信，其例子包括经 InfiniBand的互联网协议（IPoIB），以及套接字直接协议（SDP）。

IPoIB协议用作InfiniBand层上面的接口，并且允许基于套接字的应用使用主机的TCP/IP协议栈，然后该TCP/IP协议栈以对应用透明的方式被翻译成本地InfiniBand。SDP协议是基于套接字的接口的一种优化，并且允许系统绕过TCP/IP堆栈，而是利用远程直接存储器访问（RDMA）操作把基于套接字的分组直接翻译成InfiniBand层，同时维持现有的TCP流套接字语义。SDP协议具有绕过支持IPoIB必需的几个软件层的优点，这又导致SDP具有比IPoIB更好的等待时间和吞吐量。

根据一种实施例，作为入站连接，流量指挥站可以终止入站，例如经IB仿真的以太网流量，并且，作为出站连接，可以利用诸如IPoIB或SDP的协议经InfiniBand网络与其它起源服务器通信。流量指挥站集成的HTTP高速缓存与压缩能力使其特别适用于诸如Exalogic的高性能计算环境的可变出口和入口带宽需求。

图16根据一种实施例说明了流量指挥站的使用。如图16中所示，具有一个或多个流量指挥站实例672的流量指挥站670可以结合具有高速InfiniBand网络基础设施682的高性能计算环境，诸如中间件机器（例如，Exalogic）680，使用。

根据一种实施例，流量指挥站包括一个或多个协议终接器/仿真器674（例如，一个或多个IPoIB和/或SDP终接器/仿真器）、入站套接字配置676和出站套接字配置677。起源服务器683可以作为服务器池684、685中的一个或多个提供，其中每个服务器池包括一个或多个资源服务器686、688。依赖于机构的特定需求，每个服务器池可以配置为使用通信协议/套接字，诸如传统的Inet套接字，或者作为替代，诸如IPoIB或SDP的高速协议，通过这些套接字或协议，那个池中的那些起源服务器将从流量指挥站接收请求。在图16所说明的例子中，服务器池684中的起源服务器配置为使用SDP687，而服务器池685中的起源服务器配置为使用Inet689。根据其 它实施例与例子，其它类型的协议/套接字也可以使用。

当接收到送往一个特定起源服务器的请求690时，流量指挥站使用它的配置确定适当的终接器/仿真器，并且把请求692传送到高速InfiniBand网络基础设施，用于经其配置的协议/套接字693传送到起源服务器。

根据一种实施例，为了配置入站连接，http监听者配置可以在server.xml文件中提供，其参数和例子分别在表4和列表4中提供。

表4

列表4

根据一种实施例，为了配置出站连接，http监听者配置可以在server.xml文件中提供，其参数和例子分别在表5和列表5中提供。在反向代理服务器元素下可以提供服务器池的列表，每个都是一个起源服务器池的定义。Family元素指示用于连接到起源服务器的套接字族。根据一种实施例，可能的值包括，例如，缺省的inet、inet6或inet-SDP套接字。

表5

列表5

图17是根据一种实施例、用于使用流量指挥站的方法的流程 图。如图17中所示，在步骤694，提供流量指挥站环境，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个服务器池的起源服务器。在步骤695，一个或多个起源服务器部署到具有高速（例如，InfiniBand）网络的高性能计算环境，诸如中间件机器（例如，Exalogic）。在步骤697，流量指挥站配置为具有一个或多个入站和出站连接，以及协议终接器/仿真器，用于与高速网络通信。在步骤698，流量指挥站终止入站（例如，EoIB）连接，并且利用所配置的出站连接以及终接器/仿真器把请求从客户端传送到起源服务器。

动态高速缓存数据解压缩

根据一种实施例，流量指挥站可以配置为，通过作为压缩数据或者，如果特定客户端更愿意接收数据的非压缩版本的话，通过在提供之前动态地解压缩数据来提供来自起源服务器的内容，对来自客户端的请求作出响应。

根据一种实施例，关于是以压缩还是解压缩格式提供数据的决定可以在初始的客户端请求中提供，例如，通过HTTP首部的使用，这提供了灵活性和互操作性。这种数据的压缩和解压缩可以配置为与流量指挥站内置的HTTP高速缓存功能性一起工作。

图18根据一种实施例说明了流量指挥站环境中动态HTTP解压缩的使用。如图18中所示，根据一种实施例，流量指挥站900可以包括一个或多个流量指挥站实例902，用于把客户端请求分配到包括资源服务器914的一个或多个池912的起源服务器910。

根据一种实施例，流量指挥站包括高速缓存904，它可以被启用，供起源服务器中的一个或多个使用。虽然在图18中示为被若干个流量指挥站实例共享的单个高速缓存，但是根据一种实施例，可以使用若干个这种高速缓存，和/或每个流量指挥站实例可以具有其自己的高速缓存。

根据一种实施例，当启用高速缓存时，当客户端请求被传送920 到起源服务器并且，响应于该请求，内容从那些起源服务器返回922时，流量指挥站可以在其高速缓存中根据其配置高速缓存对应于起源服务器内容的数据的一个或多个集合。作为一个说明性例子，特定的起源服务器可以配置为把图像文件（例如，GIF文件）和其它内容提供给客户端，并且流量指挥站可以配置为在其高速缓存中高速缓存从那个特定的起源服务器接收到的图像文件一具体时段。

根据一种实施例，流量指挥站作为存储器内的数据库操作，这意味着高速缓存数据需要使用计算机存储器，并且这又影响系统成本及性能。为了解决这个问题，根据一种实施例，流量指挥站可以在高速缓存压缩的数据926、927、928之前压缩要存储在其高速缓存中的数据。这减少了所需的总高速缓存尺寸，并且由此减少了存储器需求和/或允许更大量的数据条目存储在特定的高速缓存尺寸中。

根据一种实施例，响应于来自客户端的请求，依赖于客户端的需求，或者以其压缩格式，或者以解压缩格式，高速缓存的数据可以随后提供给客户端。

例如，虽然有些（例如，浏览器）客户端可以接受响应中的压缩数据，但其它客户端（例如，移动电话）可能需要响应数据以非压缩格式提供。

如图18中所示，根据一种实施例，客户端A930可以向流量指挥站指示响应可以包括压缩数据932。根据一种实施例，这种指示可以作为请求组成部分的一部分（例如，在HTTP流量的情况下是HTTP请求首部）由客户端传送到流量指挥站。作为响应，流量指挥站可以把请求传送给起源服务器，以获得响应，或者，如果流量指挥站确定数据的拷贝目前以压缩格式（例如，压缩数据A926）存储在其高速缓存中，则它可以以压缩格式向客户端返回936那个数据。

如图18中进一步示出的，根据一种实施例，客户端B940可以向流量指挥站指示响应不能包括压缩数据（即，只有非压缩的数据是可以接受的）942。根据一种实施例，这种指示可以类似地作为请求组成部分的一部分，例如HTTP请求首部，由客户端传送到流量指 挥站。作为响应，流量指挥站可以同样或者把该请求传送到起源服务器，以获得响应，或者，如果流量指挥站确定数据的拷贝目前以压缩格式（例如，压缩数据B927）存储在其高速缓存中，则它解压缩那个数据944并且把该数据解压缩后的变体返回946给客户端。

虽然在图18中说明为来自客户端的肯定指示，例如，通过HTTP请求首部的使用，但是，根据一种实施例，该系统还可以识别缺省值，例如，缺省地只有非压缩数据应当被认为是客户端可接受的，除非客户端另外地指示，并且相应地操作。

利用以上功能性，高速缓存不需要为了适合不同客户端的需求而以两种不同的（例如，压缩的对非压缩的）格式存储数据，而是只需要在其高速缓存中存储单个压缩数据实例/格式，并且依赖于作出请求的特定客户端的需求把数据解压缩。

图19是根据一种实施例、用于在流量指挥站环境中提供动态HTTP解压缩的方法的流程图。如图19中所示，在步骤950，提供流量指挥站环境，包括具有一个或多个流量指挥站实例的流量指挥站，以及具有一个或多个资源服务器池的起源服务器。在步骤952，流量指挥站被启用，以执行从起源服务器接收到的内容或数据的高速缓存和压缩，并且在处理来自客户端的请求的过程中，在流量指挥站的高速缓存中存储一个或多个压缩数据。在步骤954，流量指挥站可以从客户端接收对特定内容或数据的请求，连同关于客户端是否接受作为压缩数据的响应和/或需要解压缩数据的指示。在步骤956，如果所请求的内容在高速缓存中，则流量指挥站可以利用高速缓存中所存储的数据向客户端提供响应，包括，如果客户端指示需要解压缩数据，则作为准备响应的一部分动态地解压缩高速缓存的数据。

对硬件辅助的压缩基元的支持

根据一种实施例，流量指挥站可以配置为使用硬件辅助的压缩基元，例如，Intel的集成性能基元（IPP），以便进一步改善其数据压缩和解压缩的性能，包括以上所述的HTTP高速缓存与动态解压缩 特征。

根据一种实施例，计算机硬件，诸如处理器，可以与压缩/解压缩库关联，该压缩/解压缩库又可以用于改善某些处理器上压缩和解压缩操作的性能。例如，有些计算机硬件制造商提供了供其产品使用的zlib库（例如，Intel提供其IPP库，这个库可以在启动期间预先加载到系统中）。根据一种实施例，如果压缩/解压缩库可用，则流量指挥站可以使用该库改善其压缩和解压缩操作的性能。

图20根据一种实施例说明了对供流量指挥站环境中动态HTTP解压缩使用的硬件基元的支持。如图20中所示，流量指挥站可以在包括处理器972的计算机服务器970上提供。根据一种实施例，该系统包括压缩/解压缩库974（例如，zlib库）。当流量指挥站需要压缩或解压缩内容或数据时，例如，在向客户端作出响应而解压缩高速缓存数据时，它可以使用980、982压缩/解压缩库来利用由处理器提供的硬件辅助的压缩基元。

本发明可以方便地利用一种或多种常规的通用或专用数字计算机、计算设备、机器或微处理器实现，包括根据本公开内容教义编程的一个或多个处理器、存储器和/或计算机可读存储介质。如软件领域的技术人员将认识到的，适当的软件编码可以很容易地由熟练的程序员基于本公开内容的教义来准备。

在有些实施例中，本发明包括计算机程序产品，这是其上/其中存储了指令的非临时性存储介质或计算机可读介质，这些指令可用于编程计算机，以执行本发明的任何一个过程。存储介质可以包括，但不限于，任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型硬盘，以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存存储器设备、磁或光卡、纳米系统（包括分子存储IC），或者适于存储指令和/或数据的任何类型的介质或设备。

以上对本发明的描述是为了说明了描述的目的而提供的。它不是穷尽性的或者要把本发明限定到所公开的精确形式。虽然所述实施例中有一些在Oracle流量指挥站环境的背景下描述了特征，但所述特 征还可以用在其它计算环境的背景下。许多修改和变化对本领域技术人员都将是显然的。实施例的选择与描述是为了最好地解释本发明的原理及其实践应用，由此使本领域其他技术人员能够理解本发明的各种实施例以及适于预期特定用途的各种修改。本发明的范围要由以下权利要求要求及其等价物来定义。

Claims (24)

1.一种用在包括流量指挥站部件的计算环境中的系统，包括：

流量指挥站，其具有一个或多个流量指挥站实例，配置为从客户端接收请求并且把请求传送到具有一个或多个服务器池的起源服务器并且其中，所述多个流量指挥站实例使用高可用性心跳来彼此通信；

高速网络基础设施，其提供供起源服务器在接收请求时使用的通信协议或套接字；

一个或多个协议终接器/仿真器，其供用于所述通信协议或套接字；及

所述流量指挥站中的入站套接字配置和出站套接字配置；

其中所述流量指挥站当接收到针对特定起源服务器的请求时，操作来：

确定所述一个或多个服务器池中与要将所述请求传送到的所述特定起源服务器相关联的服务器池，

基于所述入站套接字配置和出站套接字配置确定用于所述服务器池的协议终接器/仿真器，以及

使用所述协议终接器/仿真器将所述请求传送到所述服务器池中基于针对所述服务器池指定的负载分配技术选择的服务器。

2.如权利要求1所述的系统，其中该系统包括在包括InfiniBand网络基础设施的高性能计算环境中。

3.如权利要求1所述的系统，其中每个服务器池包括一个或多个资源服务器，而且每个服务器池配置为使用特定的通信协议或套接字。

4.如权利要求1所述的系统，其中通信协议或套接字包括经InfiniBand的互联网协议(IPoIB)。

5.如权利要求1所述的系统，其中通信协议或套接字包括套接字直接协议(SDP)。

6.一种用在包括流量指挥站部件的计算环境中的方法，包括步骤：

提供具有一个或多个流量指挥站实例的流量指挥站，该流量指挥站配置为从客户端接收请求并且把请求传送到具有一个或多个服务器池的起源服务器，并且其中，所述多个流量指挥站实例使用高可用性心跳来彼此通信；

提供高速网络基础设施，该高速网络基础设施提供供起源服务器在接收请求时使用的通信协议或套接字；

提供供用于所述通信协议或套接字的一个或多个协议终接器/仿真器；及

提供所述流量指挥站中的入站套接字配置与出站套接字配置；

其中所述流量指挥站当接收到针对特定起源服务器的请求时，操作来：

确定所述一个或多个服务器池中与要将所述请求传送到的所述特定起源服务器相关联的服务器池，

基于所述入站套接字配置和出站套接字配置确定用于所述服务器池的协议终接器/仿真器，以及

使用所述协议终接器/仿真器将所述请求传送到所述服务器池中基于针对所述服务器池指定的负载分配技术选择的服务器。

7.如权利要求6所述的方法，其中所述方法被执行在包括InfiniBand网络基础设施的高性能计算环境中。

8.如权利要求6所述的方法，其中每个服务器池包括一个或多个资源服务器，而且每个服务器池配置为使用特定的通信协议或套接字。

9.如权利要求6所述的方法，其中通信协议或套接字包括经InfiniBand的互联网协议(IPoIB)。

10.如权利要求6所述的方法，其中通信协议或套接字包括套接字直接协议(SDP)。

11.一种用在包括流量指挥站部件的计算环境中的设备，包括：

用于提供具有一个或多个流量指挥站实例的流量指挥站的装置，该流量指挥站配置为从客户端接收请求并且把请求传送到具有一个或多个服务器池的起源服务器，并且其中，所述多个流量指挥站实例使用高可用性心跳来彼此通信；

用于提供高速网络基础设施的装置，该高速网络基础设施提供供起源服务器在接收请求时使用的通信协议或套接字；

用于提供供用于所述通信协议或套接字的一个或多个协议终接器/仿真器的装置；及

用于提供所述流量指挥站中的入站套接字配置与出站套接字配置的装置；

其中所述流量指挥站当接收到针对特定起源服务器的请求时，操作来：

确定所述一个或多个服务器池中与要将所述请求传送到的所述特定起源服务器相关联的服务器池，

基于所述入站套接字配置和出站套接字配置确定用于所述服务器池的协议终接器/仿真器，以及

使用所述协议终接器/仿真器将所述请求传送到所述服务器池中基于针对所述服务器池指定的负载分配技术选择的服务器。

12.一种在流量指挥站环境中提供动态数据压缩的系统，包括：

流量指挥站，其具有多个流量指挥站实例，所述多个流量指挥站实例使用单个IP地址用于从客户端接收请求，其中，所述流量指挥站配置为把来自客户端的请求传送到具有一个或多个服务器池的起源服务器；

高速缓存，其能够被启用以供起源服务器中的一个或多个使用，所述高速缓存用于高速缓存对应于起源服务器内容的一个或多个数据集合，其中，如果所述高速缓存被启用，则流量指挥站在高速缓存数据之前压缩要在高速缓存中存储的数据；并且

其中所述流量指挥站被配置为：

从所述客户端接收指示所述客户端接受压缩数据还是非压缩数据的请求，以及

将高速缓存的数据以基于来自客户端的指示的格式提供给所述客户端。

13.如权利要求12所述的系统，其中，响应于需要非压缩数据的特定客户端，流量指挥站把请求传送到起源服务器，以获得响应，或者，如果流量指挥站确定该数据的拷贝目前以压缩格式存储在其高速缓存中，则解压缩那个数据并且把该数据的解压缩变体返回给客户端。

14.如权利要求12所述的系统，其中所述指示能够由客户端作为HTTP请求首部的一部分传送到流量指挥站。

15.如权利要求12所述的系统，其中每个起源服务器能够配置为向客户端提供图像文件和其它内容，并且流量指挥站能够配置为响应于请求而把从那个起源服务器接收到的文件的选择高速缓存在其高速缓存中特定的时间段。

16.如权利要求12所述的系统，其中流量指挥站配置为使用硬件辅助的压缩基元来进一步改善其数据压缩和解压缩的性能。

17.如权利要求16所述的系统，其中该系统包括压缩/解压缩库，而压缩/解压缩库又能够用于改善某些处理器上的压缩和解压缩操作的性能。

18.一种用于在流量指挥站环境中提供动态数据解压缩的方法，包括：

提供具有多个流量指挥站实例的流量指挥站，所述多个流量指挥站实例使用单个IP地址用于从客户端接收请求，其中，所述流量指挥站配置为把来自客户端的请求传送到具有一个或多个服务器池的起源服务器；

提供高速缓存，该高速缓存能够被启用，供起源服务器中的一个或多个使用，所述高速缓存用于高速缓存对应于起源服务器内容的一个或多个数据集合，其中，如果高速缓存被启用，则流量指挥站在高速缓存数据之前压缩要在高速缓存中存储的数据；并且

其中所述流量指挥站被配置为：

从所述客户端接收指示所述客户端接受压缩数据还是非压缩数据的请求，以及

将高速缓存的数据以基于来自客户端的指示的格式提供给所述客户端。

19.如权利要求18所述的方法，其中，响应于需要非压缩数据的特定客户端，流量指挥站把请求传送到起源服务器，以获得响应，或者，如果流量指挥站确定该数据的拷贝目前以压缩格式存储在其高速缓存中，则解压缩那个数据并且把该数据的解压缩变体返回给客户端。

20.如权利要求18所述的方法，其中所述指示能够由客户端作为HTTP请求首部的一部分传送到流量指挥站。

21.如权利要求18所述的方法，其中每个起源服务器能够配置为向客户端提供图像文件和其它内容，并且流量指挥站能够配置为响应于请求而把从那个起源服务器接收到的文件的选择高速缓存在其高速缓存中特定的时间段。

22.如权利要求18所述的方法，其中流量指挥站配置为使用硬件辅助的压缩基元来进一步改善其数据压缩和解压缩的性能。

23.如权利要求22所述的方法，进一步包括提供压缩/解压缩库，而压缩/解压缩库又能够用于改善某些处理器上压缩和解压缩操作的性能。

24.一种用于在流量指挥站环境中提供动态数据解压缩的设备，包括：

用于提供具有多个流量指挥站实例的流量指挥站的装置，所述多个流量指挥站实例使用单个IP地址用于从客户端接收请求，其中，所述流量指挥站配置为把来自客户端的请求传送到具有一个或多个服务器池的起源服务器；

用于提供高速缓存的装置，该高速缓存能够被启用以供起源服务器中的一个或多个使用，所述高速缓存用于高速缓存对应于起源服务器内容的一个或多个数据集合，其中，如果高速缓存被启用，则流量指挥站在高速缓存数据之前压缩要在高速缓存中存储的数据；并且

其中所述流量指挥站被配置为：

从所述客户端接收指示所述客户端接受压缩数据还是非压缩数据的请求，以及

将高速缓存的数据以基于来自客户端的指示的格式提供给所述客户端。