CN102246489A - 对通过http的异步消息通信进行连接管理的系统和方法 - Google Patents

Abstract

公开了用于管理客户机、中间设备和服务器之间的连接的方法和系统，使得可通过HTTP把异步消息从服务器传输到客户机。在客户机和中间设备之间以及中间设备和服务器之间建立连接以建立逻辑的客户机-服务器连接时，标记该逻辑的客户机-服务器连接而不保持该连接，同时保持客户机和中间设备之间的连接。把服务器产生的目的是客户机的消息连同连接标记传输给中间设备。然后，中间设备可使用连接标记来确定哪个客户机应该接收该消息。

Description

对通过HTTP的异步消息通信进行连接管理的系统和方法

相关申请

本美国专利申请要求2008年10月8日提交的美国临时专利申请序列号61/103697的优先权，将其公开内容视为本申请公开的一部分并且通过引用将其整体包含于此。

技术领域

本发明总的涉及数据通信网络。具体而言，本发明涉及用于使用中间设备来管理用于异步消息通信(messaging)的网络连接的系统和方法。

背景技术

由于Web 2.0应用可以和异步更新相接口，所以越来越流行。这些Web2.0应用可以利用超文本传输协议(HTTP，一种同步请求和响应协议)模拟异步通知，这对服务器造成额外的负载。由于HTTP是同步请求和响应协议，多个实现方式模拟通过HTTP的异步通知。然而，这些实现方式有一个或多个缺陷，这些缺陷会增加服务器负载并对多用户扩展性造成挑战。

一种这类实现方式包括客户机间断地轮询服务器，以发现服务器是否有排队要发给客户机的任何数据。该方法有几个缺陷。具体而言，该方法在没有数据可用时进行轮询会浪费网络带宽，由于数据耗时排队等待直到服务器接收到客户机的下一次轮询(HTTP)请求，而且，由于服务器必须对每次轮询请求做出验证和响应(有时将此称为“反复击打服务器”)，所以会降低应用的响应性。这些缺陷一起作用会不可避免地导致响应性和带宽之间的折衷——这是由于增加轮询频率会减小等待时间，但是同时增加带宽消耗和服务器负载(降低轮询频率时反之亦然)。

另一种实现方法包括诸如长轮询(long-polling)和流式响应(streaming-response通常称为永久帧)的技术。这些技术使得服务器把通知推送给客户机而不是让客户机轮询更新。可以使用长轮询或流式响应技术来推送来自服务器的更新。长轮询中，客户机通过发出HTTP请求周期性地轮询更新。如果没有更新，服务器保持连接为打开(open)的，但是不响应。客户机一接到来自服务器的响应，或者请求过期，客户机就发出另一个请求。这保证服务器(几乎)总是保持服务器可用来把数据“推送”给客户机的请求。利用流式响应技术，采用流式传输的客户机打开到服务器的长期HTTP连接，这和长轮询技术一样。然而，在服务器没有更多更新要发送给客户机时，服务器不关闭响应。相反，使用HTTP块(chunk)编码机制形成响应时，当有新的更新时而且保持连接打开时，服务器可以持续发布(post)另外的块。使用上述技术中的任一种，服务器可以实现低等待时间和低带宽，这是由于客户机一直具有到服务器的打开的连接。

随着客户机数量增加，服务器需要保持到每个客户机的连接打开会变成挑战性的要求。终止于服务器的这些大量连接需要内核资源和存储器用于诸如协议控制块、套接描述符和套接缓冲器的协议控制块。大多数操作系统不能处理大量的打开套接，保持大量连接打开会对服务器的性能和可扩展性产生负面影响。

发明内容

本发明通过把连接管理卸载给如Citrix NetScaler装置或软件代理的中间设备而减少由服务器维护的闲置传输层连接的数量。中间设备可以作为完全代理，同时保持并容纳可能几百万个长生命期客户机传输连接并采用相对少的到服务器可重复使用连接。该功能使中间设备将几个服务器侧连接用于非常多的长久客户机连接，同时可靠地、安全地并且可扩展地复用并管理数据交换(服务器推送)。

一方面，这里描述了通过管理客户机和服务器之间的连接的设备从服务器向客户机推送异步更新的系统和方法的实施例。设备的虚拟服务器从多个服务器中的第一服务器接收第一标记，第一标记标示由虚拟服务器为多个客户机的第一客户机和第一服务器建立的第一连接。虚拟服务器维持第一客户机和与第一客户机到第一服务器的第一连接相关联的设备之间的第二连接。在设备上执行的推送虚拟服务器通过第三连接接收把第一服务器的异步消息推送给第一客户机的请求，所述请求识别第一标记。设备响应于接收到请求而识别第一标记对应于设备与第一客户机之间的第二连接。设备通过第二连接向第一客户机传输由设备通过第三连接接收的异步消息。

一个实施例中，虚拟服务器使用连接标记协议建立设备和第一服务器之间的第一标记。

另一个实施例中，设备向第一服务器传输来自第一客户机的请求，所述请求具有包括由设备插入的句柄的第一头部。设备从第一服务器接收对所述请求的响应，所述响应具有包括句柄的第二头部。设备响应于所述响应确定句柄为第一客户机的第一标记。

一些实施例中，设备把用第二连接的连接元组编码的句柄插入到请求的头部。另一个实施例中，设备把包括设备的推送虚拟服务的侦听端点的句柄插入到请求的头部。

一些实施例中，设备从第一服务器接收把异步消息推送给第一客户机的请求，所述请求识别句柄并包括消息。

一些实施例中，推送虚拟服务器把异步消息作为单个超文本传输协议(HTTP)块传输给第一客户机。

其他实施例包括通过从通知服务器到设备的第三连接接收推送请求。

一些实施例中，设备响应于把异步消息传输给第一客户机而向通知服务器传输确认响应。其他实施例中，设备从通知服务器接收包括异步消息是最后一条消息的标识的异步消息。

一个实施例中，推送虚拟服务器接收把第一服务器的异步消息在第一连接和第二连接的带外推送给第一客户机的请求。

另一方面，此处描述用于通过管理客户机和服务器之间的连接的设备从服务器向客户机推送异步更新的系统。设备的虚拟服务器从多个服务器中的第一服务器接收第一标记，所述第一标记标示由虚拟服务器为多个客户机的第一客户机和第一服务器建立的第一连接，并且维持第一客户机和与第一客户机到第一服务器的第一连接相关联的设备之间的第二连接。还包括在设备上执行的推送虚拟服务器，其通过第三连接接收把第一服务器的异步消息推送给第一客户机的请求，所述请求识别第一标记。设备响应于接收到请求而识别第一标记对应于设备与第一客户机之间的第二连接，并且通过第二连接向第一客户机传输由设备通过第三连接接收的异步消息。

附图说明

此处所述的方法和系统的前述和其它目的、方面、特征和优点通过参考下述结合附图的细节描述将会更加明显并更易于理解，其中：

图1A是客户机通过设备访问服务器的网络环境的实施例的框图；

图1B是通过设备从服务器传送计算环境到客户机的环境的实施例的框图；

图1C是通过设备从服务器传送计算环境到客户机的环境的另一个实施例的框图；

图1D是通过设备从服务器传送计算环境到客户机的环境的另一个实施例的框图；

图1E到1H是计算装置的实施例的框图；

图2A是用于处理客户机和服务器之间的通信的设备的实施例的框图；

图2B是用于优化、加速、负载平衡和路由客户端和服务器之间的通信的设备的另一个实施例的框图；

图3是用于通过设备与服务器通信的客户机的实施例的框图；

图4A是虚拟化环境的实施例的框图；

图4B是虚拟化环境的另一个实施例的框图；

图4C是虚拟化设备的实施例的框图；

图5A是在多核系统中实现并行的方法实施例的框图；

图5B是使用多核系统的系统的实施例的框图；

图5C是多核系统的一个方面的另一实施例的框图；

图6是用于管理连接的系统的实施例的框图；

图7是系统所使用的用于管理连接的状态图；

图8A连接标记协议的实施例的流程图；

图8B是消息通信协议的实施例的流程图；以及

图9是用于管理异步消息通信的连接的方法的实施例的流程图。

从下面结合附图所提出的详细描述，此处所述方法和系统的特征和优点将更明显，其中，相同的参考标记在全文中表示相应的元件。在附图中，同样的附图标记通常表示相同的、功能上相似的和/或结构上相似的单元。

具体实施方式

为了阅读下述各种具体实施例的描述，下述对于说明书的部分以及它们各自内容的描述是有用的：

-A部分描述了有益于实施此处描述的实施例的网络环境和计算环境；

-B部分描述了用于传送计算环境到远程用户的系统和方法的实施例；

-C部分描述了用于加速客户端和服务器间通信的系统和方法的实施例；

-D部分描述用于对应用传送控制器进行虚拟化的系统和方法的实施例。

-E部分描述用于提供多核架构和环境的系统和方法的实施例；以及

-F部分描述用于对异步消息通信进行连接管理的系统和方法的实施例。

A、网络和计算环境

在讨论设备和/或客户端的系统和方法的实施例的细节之前，讨论可在其中部署这些实施例的网络和计算环境是有帮助的。现在参见图1A，描述了网络环境的实施例。概括来讲，网络环境包括一个或多个客户机102a-102n(同样总的称为本地机器102，或客户机102)通过一个或多个网络104、104’(总的称为网络104)与一个或多个服务器106a-106n(同样总的称为服务器106，或远程机器106)通信。在一些实施例中，客户端102通过设备200与服务器106通信。

虽然图1A示出了在客户机102和服务器106之间的网络104和网络104’，客户机102和服务器106可以位于同一个的网络104上。网络104和104”可以是相同类型的网络或不同类型的网络。网络104和/或104′可为局域网(LAN)，例如公司内网，城域网(MAN)，或者广域网(WAN)例如因特网或万维网。在一个实施例中，网络104’可为专用网络并且网络104可为公网。在一些实施例中，网络104’可为专用网并且网络104’可为公网。在另一个实施例中，网络104和104’可都为专用网。在一些实施例中，客户端102可位于公司企业的分支机构中，通过网络104上的WAN连接与位于公司数据中心的服务器106通信。

网络104和/或104’可以是任何类型和/或形式的网络，并且可包括任意下述网络：点对点网络，广播网络，广域网，局域网，电信网络，数据通信网络，计算机网络，ATM(异步传输模式)网络，SONET(同步光纤网络)网络，SDH(同步数字体系)网络，无线网络和有线网络。在一些实施例中，网络104可以包括无线链路，诸如红外信道或者卫星频带。网络104和/或104’的拓扑可为总线型、星型或环型网络拓扑。网络104和/或104’以及网络拓扑可以是对于本领域普通技术人员所熟知的、可以支持此处描述的操作的任何这样的网络或网络拓扑。

如图1A所示，设备200被示在网络104和104’之间，设备200也可被称为接口单元200或者网关200。在一些实施例中，设备200可位于网络104上。例如，公司的分支机构可在分支机构中部署设备200。在其它实施例中，设备200可以位于网络104′上。例如，设备200可位于公司的数据中心。在另一个实施例中，多个设备200可在网络104上部署。在一些实施例中，多个设备200可布署在网络104’上。在一个实施例中，第一设备200与第二设备200’通信。在其它实施例中，设备200作为客户端102可为位于同一或不同网络104、104’的任一客户端102或服务器106的一部分。一个或多个设备200可位于客户端102和服务器106之间的网络或网络通信路径中的任一点。

在一些实施例中，设备200包括由位于Ft.Lauderdale Florida的Citrix Systems公司制造的被称为Citrix NetScaler设备的任意网络设备。在其它实施例中，设备200包括由位于Seattle，Washington的F5 Networks公司制造的被称为WebAccelerator和BigIP的任意一个产品实施例。在另一个实施例中，设备205包括由位于Sunnyvale，California的JuniperNetworks公司制造的DX加速装置平台和/或诸如SA700、SA2000、SA4000和SA6000装置的SSL VPN系列装置中的任意一个。在又一个实施例中，设备200包括由位于San Jose，California的Cisco Systems公司制造的任意应用加速和/或安全相关的设备和/或软件，例如Cisco ACE应用控制引擎模块业务(Application Control Engine Module service)软件和网络模块以及Cisco AVS系列应用速度系统(Application Velocity System)。

在一个实施例中，系统可包括多个逻辑分组的服务器106。在这些实施例中，服务器的逻辑分组可以被称为服务器群38。在其中一些实施例中，服务器106可为地理上分散的。在一些情况中，群38可以作为单个实体被管理。在其它实施例中，服务器群38包括多个服务器群38。在一个实施例中，服务器群代表一个或多个客户端102执行一个或多个应用程序。

在每个群38中的服务器106可为不同种类。一个或多个服务器106可根据一种类型的操作系统平台(例如，由Washington，Redmond的Microsoft公司制造的WINDOWS NT)操作，而一个或多个其它服务器106可根据另一类型的操作系统平台(例如，Unix或Linux)操作。每个群38的服务器106不需要与相同群38内的另一个服务器106物理上接近。因此，逻辑分组为群38的服务器106组可使用广域网(WAN)连接或中等区域网(MAN)连接互联。例如，群38可包括物理上位于不同大陆或大陆、国家、州、城市、校园或房间的不同区域的服务器106。如果服务器106使用局域网(LAN)连接或一些直连形式进行连接，则群38中的服务器106间的数据传送速度可增加。

服务器106可指文件服务器、应用服务器、web服务器、代理服务器或者网关服务器。在一些实施例中，服务器106可以有作为应用服务器或者作为主应用服务器工作的能力。在一个实施例中，服务器106可包括活动目录。客户端102也可称为客户端节点或端点。在一些实施例中，客户机102可以有作为客户机节点寻求访问服务器上的应用的能力，也可以有作为应用服务器为其它客户机102a-102n提供对寄载的应用的访问的能力。

在一些实施例中，客户端102与服务器106通信。在一个实施例中，客户端102可与群组38中的服务器106之一直接通信。在另一个实施例中，客户端102执行程序邻近应用(program neighborhood application)以与群组38内的服务器106通信。在另一个实施例中，服务器106提供主节点的功能。在一些实施例中，客户端102通过网络104与群组38中的服务器106通信。通过网络104，客户端102例如可以请求执行群组38中的服务器106a-106n寄载的各种应用，并接收应用执行结果的输出进行显示。在一些实施例中，只有主节点提供识别和提供与寄载所请求的应用的服务器106’相关的地址信息所需的功能。

在一个实施例中，服务器106提供网络(Web)服务器的功能。在另一个实施例中，服务器106a从客户机102接收请求，将请求转发到第二服务器106b，并使用服务器106b对请求的响应来对客户机102的请求进行响应。在又另一个实施例中，服务器106获得客户端102可用的应用的列举以及与寄载由该应用的列举所识别的应用的服务器106相关的地址信息。在又一个实施例中，服务器106使用web接口呈现对客户端102的请求的响应。在一个实施例中，客户端102直接与服务器106通信以访问所识别的应用。在另一个实施例中，客户端102接收诸如显示数据的应用输出数据，该应用输出数据由服务器106上所识别的应用的执行而产生。

现在参考图1B，描述了部署多个设备200的网络环境的实施例。第一设备200可以部署在第一网络104上，而第二设备200′部署在第二网络104′上。例如，公司可以在分支机构部署第一设备200，而在数据中心部署第二设备200′。在另一个实施例中，第一设备200和第二设备200′被部署在同一个网络104或网络104′上。例如，第一设备200可以被部署用于第一服务器群组38，而第二设备200′可以被部署用于第二服务器群组38′。在另一个实例中，第一设备200可以被部署在第一分支机构，而第二设备200′被部署在第二分支机构′。在一些实施例中，第一设备200和第二设备200′彼此协同或联合工作，以加速客户机和服务器之间的网络业务量或应用和数据的传送。

现在参考图1C，描述了网络环境的另一个实施例，在该网络环境中，将设备200和一个或多个其它类型的设备部署在一起，例如，部署在一个或多个WAN优化设备205，205′之间。例如，第一WAN优化设备205显示在网络104和104′之间，而第二WAN优化设备205′可以部署在设备200和一个或多个服务器106之间。例如，公司可以在分支机构部署第一WAN优化设备205，而在数据中心部署第二WAN优化设备205′。在一些实施例中，设备205可以位于网络104′上。在其它实施例中，设备205′可以位于网络104上。在一些实施例中，设备205′可以位于网络104′或网络104″上。在一个实施例中，设备205和205′在同一个网络上。在另一个实施例中，设备205和205′在不同的网络上。在另一个实例中，第一WAN优化设备205可以被部署用于第一服务器群38，而第二WAN优化设备205′可以被部署用于第二服务器群38′。

在一个实施例中，设备205是用于加速、优化或者以其他方式改善诸如发向和/或来自WAN连接的业务的任意类型和形式的网络业务的性能、操作或服务质量的装置。在一些实施例中，设备205是一个性能提高的代理。在其它实施例中，设备205是任意类型和形式的WAN优化或加速装置，有时也被称为WAN优化控制器。在一个实施例中，设备205是由位于Ft.LauderdaleFlorida的Citrix Systems公司出品的被称为WANScaler的产品实施例中的任意一种。在其它实施例中，设备205包括由位于Seattle，Washington的F5 Networks公司出品的被称为BIG-IP链路控制器和WANjet的产品实施例中的任意一种。在另一个实施例中，设备205包括由位于Sunnyvale，California的Juniper NetWorks公司出品的WX和WXC WAN加速装置平台中的任意一种。在一些实施例中，设备205包括由San Francisco，California的Riverbed Technology公司出品的虹鳟(steelhead)系列WAN优化设备中的任意一种。在其它实施例中，设备205包括由位于Roseland，NewJersey的Expand Networks公司出品的WAN相关装置中的任意一种。在一个实施例中，设备205包括由位于Cupertino，California的Packeteer公司出品的任意一种WAN相关设备，例如由Packeteer提供的PacketSbaper、iSbared和SkyX产品实施例。在又一个实施例中，设备205包括由位于San Jose，California的Cisco Systems公司出品的任意WAN相关设备和/或软件，例如Cisco广域网应用服务软件和网络模块以及广域网引擎设备。

在一个实施例中，设备205为分支机构或远程办公室提供应用和数据加速业务。在一个实施例中，设备205包括广域文件服务(WAFS)的优化。在另一个实施例中，设备205加速文件的传送，例如经由通用Internet文件系统(CIFS)协议。在其它实施例中，设备205在存储器和/或存储装置中提供高速缓存来加速应用和数据的传送。在一个实施例中，设备205在任意级别的网络堆栈或在任意的协议或网络层中提供网络业务量的压缩。在另一个实施例中，设备205提供传输层协议优化、流量控制、性能增强或修改和/或管理，以加速WAN连接上的应用和数据的传送。例如，在一个实施例中，设备205提供传输控制协议(TCP)优化。在其它实施例中，设备205提供对于任意会话或应用层协议的优化、流量控制、性能增强或修改和/或管理。

在另一个实施例中，设备205将任意类型和形式的数据或信息编码成网络分组的定制的或标准的TCP和/或IP的报头字段或可选字段，以将其存在、功能或能力通告给另一个设备205′。在另一个实施例中，设备205′可以使用在TCP和/或IP报头字段或选项中编码的数据来与另一个设备205′进行通信。例如，设备可以使用TCP选项或IP报头字段或选项来传达在执行诸如WAN加速的功能时或者为了彼此联合工作而由设备205，205′所使用的一个或多个参数。

在一些实施例中，设备200保存在设备205和205′之间传达的TCP和/或IP报头和/或可选字段中编码的任意信息。例如，设备200可以终止经过设备200的传输层连接，例如经过设备205和205′的在客户机和服务器之间的一个传输层连接。在一个实施例中，设备200识别并保存由第一设备205通过第一传输层连接发送的传输层分组中的任意编码信息，并经由第二传输层连接来将具有编码信息的传输层分组传达到第二设备205′。

现在参考图1D，描述了用于传送和/或操作客户机102上的计算环境的网络环境。在一些实施例中，服务器106包括用于向一个或多个客户机102传送计算环境或应用和/或数据文件的应用传送系统190。总的来说，客户机10通过网络104、104’和设备200与服务器106通信。例如，客户机102可驻留在公司的远程办公室里，例如分支机构，并且服务器106可驻留在公司数据中心。客户机102包括客户机代理120以及计算环境15。计算环境15可执行或操作用于访问、处理或使用数据文件的应用。计算环境15、应用和/或数据文件可通过设备200和/或服务器106传送。

在一些实施例中，设备200加速计算环境15或者其任意部分到客户机102的传送。在一个实施例中，设备200通过应用传送系统190加速计算环境15的传送。例如，可使用此处描述的实施例来加速从总公司中央数据中心到远程用户位置(例如公司的分支机构)的应用处理的流应用(streamingapplication)及该应用可处理的数据文件的传送。在另一个实施例中，设备200加速客户端102和服务器106之间的传输层业务量。设备200可以提供用于加速从服务器106到客户机102的任意传输层有效载荷的加速技术，例如：1)传输层连接池，2)传输层连接多路复用，3)传输控制协议缓冲，4)压缩和5)高速缓存。在一些实施例中，设备200响应于来自客户机102的请求提供服务器106的负载平衡。在其它实施例中，设备200充当代理或者访问服务器来提供对一个或者多个服务器106的访问。在另一个实施例中，设备200提供从客户机102的第一网络104到服务器106的第二网络104’的安全虚拟专用网络连接，诸如SSL VPN连接。在又一些实施例中，设备200提供客户机102和服务器106之间的连接和通信的应用防火墙安全、控制和管理。

在一些实施例中，基于多个执行方法并且基于通过策略引擎195所应用的任一验证和授权策略，应用传送管理系统190提供应用传送技术来传送计算环境到用户的桌面(远程的或者其它的)。使用这些技术，远程用户可以从任意网络连接装置100获取计算环境并且访问服务器所存储的应用和数据文件。在一个实施例中，应用传送系统190可驻留在服务器106上或在其上执行。在另一个实施例中，应用传送系统190可驻留在多个服务器106a-106n上或在其上执行。在一些实施例中，应用传送系统190可在服务器群38内执行。在一个实施例中，执行应用传送系统190的服务器106也可存储或提供应用和数据文件。在另一个实施例中，一个或多个服务器106的第一组可执行应用传送系统190，并且不同的服务器106n可存储或提供应用和数据文件。在一些实施例中，应用传送系统190、应用和数据文件中的每一个可驻留或位于不同的服务器。在又一个实施例中，应用传送系统190的任何部分可驻留、执行、或被存储于或分发到设备200或多个设备。

客户机102可包括用于执行应用的计算环境15，该应用使用或处理数据文件。客户机102可通过网络104、104’和设备200请求来自服务器106的应用和数据文件。在一个实施例中，设备200可以转发来自客户机102的请求到服务器106。例如，客户机102可能不具有本地存储或者本地可访问的应用和数据文件。响应于请求，应用传送系统190和/或服务器106可以传送应用和数据文件到客户机102。例如，在一个实施例中，服务器106可以把应用作为应用流来传输，以在客户机102上的计算环境15中操作。

在一些实施例中，应用传送系统190包括Citrix Systems Inc.的CitrixAccess Suite^TM的任一部分(例如MetaFrame或Citrix PresentationServer^TM)，和/或微软公司开发的Windows终端服务中的任意一个。在一个实施例中，应用传送系统190可以通过远程显示协议或者通过基于远程或者基于服务器计算的其它方式来传送一个或者多个应用到客户机102或者用户。在另一个实施例中，应用传送系统190可以通过应用流来传送一个或者多个应用到客户机或者用户。

在一个实施例中，应用传送系统190包括策略引擎195，用于控制和管理对应用的访问，应用执行方法的选择以及应用的传送。在一些实施例中，策略引擎195确定用户或者客户机102可以访问的一个或者多个应用。在另一个实施例中，策略引擎195确定应用应该如何被传送到用户或者客户机102，例如执行方法。在一些实施例中，应用传送系统190提供多个传送技术，从中选择应用执行的方法，例如基于服务器的计算、本地流式传输或传送应用给客户机120以用于本地执行。

在一个实施例中，客户机102请求应用程序的执行并且包括服务器106的应用传送系统190选择执行应用程序的方法。在一些实施例中，服务器106从客户机102接收证书。在另一个实施例中，服务器106从客户机102接收对于可用应用的列举的请求。在一个实施例中，响应该请求或者证书的接收，应用传送系统190列举对于客户机102可用的多个应用程序。应用传送系统190接收请求来执行所列举的应用。应用传送系统190选择预定数量的方法之一来执行所列举的应用，例如响应策略引擎的策略。应用传送系统190可以选择执行应用的方法，使得客户机102接收通过执行服务器106上的应用程序所产生的应用输出数据。应用传送系统190可以选择执行应用的方法，使得本地机器10在检索包括应用的多个应用文件之后本地执行应用程序。在又一个实施例中，应用传送系统190可以选择执行应用的方法，以通过网络104流式传输应用到客户机102。

客户机102可以执行、操作或者以其它方式提供应用，应用可为任何类型和/或形式的软件、程序或者可执行指令，例如任何类型和/或形式的web浏览器、基于web的客户机、客户机-服务器应用、瘦客户端计算客户机、ActiveX控件、或者Java程序、或者可以在客户机102上执行的任意其它类型和/或形式的可执行指令。在一些实施例中，应用可以是代表客户机102在服务器106上执行的基于服务器或者基于远程的应用。在一个实施例中，服务器106可以使用任意瘦-客户机或远程显示协议来显示输出到客户机102，所述远程显示协议例如由位于Ft.Lauderdale，Florida的CitrixSystems公司出品的独立计算架构(ICA)协议或由位于Redmond，Washington的微软公司出品的远程桌面协议(RDP)。应用可使用任何类型的协议，并且它可为，例如，HTTP客户机、FTP客户机、Oscar客户机或Telnet客户机。在其它实施例中，应用包括和VoIP通信相关的任何类型的软件，例如软IP电话。在进一步的实施例中，应用包括涉及到实时数据通信的任一应用，例如用于流式传输视频和/或音频的应用。

在一些实施例中，服务器106或服务器群38可运行一个或多个应用，例如提供瘦客户端计算或远程显示表示应用。在一个实施例中，服务器106或服务器群38作为一个应用来执行Citrix Systems Inc.的Citrix AccessSuite^TM的任一部分(例如MetaFrame或Citrix Presentation Server^TM)，和/或微软公司开发的

Windows终端服务中的任意一个。在一个实施例中，该应用是位于Florida，Fort Lauderdale的Citrix Systems Inc.开发的ICA客户机。在其它实施例中，该应用包括由位于Washington，Redmond的Microsoft公司开发的远程桌面(RDP)客户机。另外，服务器106可以运行一个应用，例如，其可以是提供电子邮件服务的应用服务器，例如由位于Washington，Redmond的Microsoft公司制造的MicrosoftExchange，web或Internet服务器，或者桌面共享服务器，或者协作服务器。在一些实施例中，任一应用可以包括任一类型的所寄载的服务或产品，例如位于California，Santa Barbara的Citrix Online Division提供的GoToMeeting^TM，位于California，Santa Clara的WebEx Inc.提供的WebEx^TM，或者位于Washington，Redmond的Microsoft公司提供的Microsoft OfficeLive Meeting。

仍然参看图1D，网络环境的一个实施例可以包括监控服务器106A。监控服务器106A可以包括任何类型和形式的性能监控服务198。性能监控服务198可以包括监控、测量和/或管理软件和/或硬件，包括数据收集、集合、分析、管理和报告。在一个实施例中，性能监控业务198包括一个或多个监控代理197。监控代理197包括用于在诸如客户机102、服务器106或设备200和205的装置上执行监控、测量和数据收集活动的任意软件、硬件或其组合。在一些实施例中，监控代理197包括诸如Visual Basic脚本或Javascript任意类型和形式的脚本。在一个实施例中，监控代理197相对于装置的任意应用和/或用户透明地执行。在一些实施例中，监控代理197相对于应用或客户机不显眼地被安装和操作。在又一个实施例中，监控代理197的安装和操作不需要用于该应用或装置的任何设备。

在一些实施例中，监控代理197以预定频率监控、测量和收集数据。在其它实施例中，监控代理197基于检测到任意类型和形式的事件来监控、测量和收集数据。例如，监控代理197可以在检测到对web页面的请求或收到HTTP响应时收集数据。在另一个实例中，监控代理197可以在检测到诸如鼠标点击的任一用户输入事件时收集数据。监控代理197可以报告或提供任何所监控、测量或收集的数据给监控服务198。在一个实施例中，监控代理197根据时间安排或预定频率来发送信息给监控服务198。在另一个实施例中，监控代理197在检测到事件时发送信息给监控业务198。

在一些实施例中，监控服务198和/或监控代理197对诸如客户机、服务器、服务器群、设备200、设备205或网络连接的任意网络资源或网络基础结构元件的进行监控和性能测量。在一个实施例中，监控服务198和/或监控代理197执行诸如TCP或UDP连接的任意传输层连接的监控和性能测量。在另一个实施例中，监控服务198和/或监控代理197监控和测量网络等待时间。在又一个实施例中，监控服务198和/或监控代理197监控和测量带宽利用。

在其它实施例中，监控业务198和/或监控代理197监控和测量终端用户响应时间。在一些实施例中，监控业务198执行应用的监控和性能测量。在另一个实施例中，监控服务198和/或监控代理197执行到应用的任意会话或连接的监控和性能测量。在一个实施例中，监控服务198和/或监控代理197监控和测量浏览器的性能。在另一个实施例中，监控业务198和/或监控代理197监控和测量基于HTTP的事务的性能。在一些实施例中，监控业务198和/或监控代理197监控和测量IP上语音(VoIP)应用或会话的性能。在其它实施例中，监控服务198和/或监控代理197监控和测量诸如ICA客户机或RDP客户机的远程显示协议应用的性能。在又一个实施例中，监控服务198和/或监控代理197监控和测量任意类型和形式的流媒体的性能。在进一步的实施例中，监控服务198和/或监控代理197监控和测量所寄载的应用或软件即服务(Software-As-A-Service，SaaS)传送模型的性能。

在一些实施例中，监控服务198和/或监控代理197执行与应用相关的一个或多个事务、请求或响应的监控和性能测量。在其它实施例中，监控服务198和/或监控代理197监控和测量应用层堆栈的任意部分，例如任意.NET或J2EE调用。在一个实施例中，监控服务198和/或监控代理197监控和测量数据库或SQL事务。在又一个实施例中，监控服务198和/或监控代理197监控和测量任意方法、函数或应用编程接口(API)调用。

在一个实施例中，监控服务198和/或监控代理197对经由诸如设备200和/或设备205的一个或多个设备从服务器到客户机的应用和/或数据的传送进行监控和性能测量。在一些实施例中，监控业务198和/或监控代理197监控和测量虚拟化应用的传送的性能。在其它实施例中，监控业务198和/或监控代理197监控和测量流式应用的传送的性能。在另一个实施例中，监控业务198和/或监控代理197监控和测量传送桌面应用到客户机和/或在客户机上执行桌面应用的性能。在另一个实施例中，监控业务198和/或监控代理197监控和测量客户机/服务器应用的性能。

在一个实施例中，监控业务198和/或监控代理197被设计和构建成为应用传送系统190提供应用性能管理。例如，监控业务198和/或监控代理197可以监控、测量和管理经由Citrix表示服务器传送应用的性能。在该实例中，监控业务198和/或监控代理197监控单独的ICA会话。监控业务198和/或监控代理197可以测量总的以及每次的会话系统资源使用，以及应用和连网性能。监控业务198和/或监控代理197可以对于给定用户和/或用户会话来标识有效服务器。在一些实施例中，监控业务198和/或监控代理197监控在应用传送系统190和应用和/或数据库服务器之间的后端连接。监控业务198和/或监控代理197可以测量每个用户会话或ICA会话的网络等待时间、延迟和容量。

在一些实施例中，监控业务198和/或监控代理197测量和监控对于应用传送系统190的诸如总的存储器使用、每个用户会话和/或每个进程的存储器使用。在其它实施例中，监控业务198和/或监控代理197测量和监控诸如总的CPU使用、每个用户会话和/或每个进程的应用传送系统190的CPU使用。在另一个实施例中，监控业务198和/或监控代理197测量和监控登录到诸如Citrix表示服务器的应用、服务器或应用传送系统所需的时间。在一个实施例中，监控业务198和/或监控代理197测量和监控用户登录应用、服务器或应用传送系统190的持续时间。在一些实施例中，监控业务198和/或监控代理197测量和监控应用、服务器或应用传送系统会话的有效和无效的会话计数。在又一个实施例中，监控业务198和/或监控代理197测量和监控用户会话等待时间。

在又一个实施例中，监控服务198和/或监控代理197测量和监控任意类型和形式的服务器指标。在一个实施例中，监控服务198和/或监控代理197测量和监控与系统内存、CPU使用和磁盘存储器有关的指标。在另一个实施例中，监控业务198和/或监控代理197测量和监控和页错误有关的指标，诸如每秒页错误。在其它实施例中，监控业务198和/或监控代理197测量和监控往返时间的指标。在又一个实施例中，监控业务198和/或监控代理197测量和监控与应用崩溃、错误和/或中止相关的指标。

在一些实施例中，监控服务198和监控代理198包括由位于Ft.Lauderdale，Florida的Citrix Systems公司出品的被称为EdgeSight的任意一种产品实施例。在另一个实施例中，性能监控服务198和/或监控代理198包括由位于Palo Alto，California的Symphoniq公司出品的被称为TrueView产品套件的产品实施例的任一部分。在一个实施例中，性能监控服务198和/或监控代理198包括由位于San Francisco，California的TeaLeaf技术公司出品的被称为TeaLeafCX产品套件的产品实施例的任意部分。在其它实施例中，性能监控服务198和/或监控代理198包括由位于Houston，Texas的BMC软件公司出品的诸如BMC性能管理器和巡逻产品(BMCPerformance Manager and Patrol products)的商业业务管理产品的任意部分。

客户机102、服务器106和设备200可以布署为和/或执行在任意类型和形式的计算装置上，诸如能够在任意类型和形式的网络上通信并执行此处描述的操作的计算机、网络装置或者设备。图1E和1F描述了可用于实施客户机102、服务器106或设备200的实施例的计算装置100的框图。如图1E和1F所示，每个计算装置100包括中央处理单元101和主存储器单元122。如图1E所示，计算装置100可以包括可视显示装置124、键盘126和/或诸如鼠标的指示装置127。每个计算装置100也可包括其它可选择的组件，例如一个或多个输入/输出装置130a-130b(总的使用标号130表示)，以及与中央处理单元101通信的高速缓存存储器140。

中央处理单元101是响应并处理从主存储器单元122取出的指令的任意逻辑电路。在许多实施例中，中央处理单元由微处理器单元提供，例如：由California，Mountain View的Intel公司制造的微处理器单元；由IIIinois，Schaumburg的Motorola公司制造的微处理器单元；由Califirnia，Santa Clara的Transmeta公司制造的微处理器单元；由NewYork，White Plains的International Business Machines公司制造的RS/6000处理器；或者由California，Sunnyvale的Advanced Micro Devices公司制造的微处理器单元。计算装置100可以基于这些处理器中的任意一种，或者能够按照这里所说明的那样运行的任意其它处理器。

主存储器单元122可以是能够存储数据并允许微处理器101直接访问任意存储位置的一个或多个存储器芯片，例如静态随机访问存储器(SRAM)、Burst(脉冲串)SRAM或SynchBurst SRAM(BSRAM)、动态随机访问存储器DRAM、快速页模式DRAM(FPM DRAM)、增强DRAM(EDRAM)、扩展数据输出RAM(EDO RAM)、扩展数据输出DRAM(EDO DRAM)、脉冲串扩展数据输出DRAM(BEDODRAM)、增强型DRAM(EDRAM)、同步DRAM(SDRAM)、JEDEC SRAM、PC100 SDRAM、双数据传输率SDRAM(DDR SDRAM)、增强SRAM(ESDRAM)、同步链路DRAM(SLDRAM)、直接Rambus DRAM(DRDRAM)或铁电RAM(FRAM)。主存储器122可以基于上述存储芯片的任意一种，或者能够像这里所说明的那样运行的任意其它可用存储芯片。在图1E中所示的实施例中，处理器101通过系统总线150(在下面进行更详细的描述)与主存储器122进行通信。图1E描述了在其中处理器通过存储器端口103直接与主存储器122通信的计算装置100的实施例。例如，在图1F中，主存储器122可以是DRDRAM。

图1F示出主处理器101通过第二总线和高速缓存存储器140通信的实施例，第二总线有时也称为背侧总线。其他实施例中，主处理器101使用系统总线150和高速缓存存储器140通信。高速缓存存储器140通常有比主存储器122更快的响应时间，并且通常由SRAM、BSRAM或EDRAM提供。在图1E中所示的实施例中，处理器101通过本地系统总线150与多个I/O装置130进行通信。可以使用各种不同的总线将中央处理单元101连接到任意I/O装置130，包括VESA VL总线、ISA总线、EISA总线、微通道体系结构(MCA)总线、PCI总线、PCI-X总线、PCI-Express总线或NuBus。对于I/O装置是视频显示器124的实施例，处理器101可以使用加速图形接口(AGP)与显示器124通信。图1F说明了主处理器101通过超传输(HyperTransport)、快速I/O或者InfiniBand直接与I/O装置130b通信的计算机100的一个实施例。图1F还示出本地总线和直接通信混合的实施例：处理器101使用本地互连总线和I/O装置130b通信，但和I/O装置130a直接通信

计算装置100可以支持任意适当的安装装置116，例如用于接收像3.5英寸、5.25英寸磁盘或ZIP磁盘这样的软盘的软盘驱动器、CD-ROM驱动器、CD-R/RW驱动器、DVD-ROM驱动器、多种格式的磁带驱动器、USB装置、硬盘驱动器或适于安装像任意客户机代理120或其部分的软件和程序的任意其它装置。计算装置100还可以包括存储装置128，诸如一个或者多个硬盘驱动器或者独立磁盘冗余阵列，用于存储操作系统和其它相关软件，以及用于存储诸如涉及客户机代理120的任意程序的应用软件程序。或者，可以使用安装装置116的任意一种作为存储装置128。此外，操作系统和软件可从例如可引导CD的可引导介质运行，诸如

一种用于GNU/Linux的可引导CD，该可引导CD可自knoppix.net作为GNU/Linux分发获得。

此外，计算装置100可以包括网络接口118以通过多种连接(包括但不限于标准电话线路、LAN或WAN链路(例如802.11，T1，T3、56kb、X.25)、宽带连接(如ISDN、帧中继、ATM)、无线连接、或上述任意或全部的一些组合)连接到局域网(LAN)、广域网(WAN)或因特网。网络接口118可以包括内置网络适配器、网络接口卡、PCMCIA网络卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器或适用于将计算装置100连接到能够通信并执行这里所说明的操作的任意类型的网络的任意其它设备。各式各样的I/O装置130a-130n可以存在于计算装置100中。输入设备包括键盘、鼠标、触控板、轨迹球、话筒和绘图板。输出设备包括视频显示器、扬声器、喷墨打印机、激光打印机和热升华打印机。如图1E所示，I/O装置130可以由I/O控制器123控制。I/O控制器可以控制一个或多个I/O装置，例如键盘126和指示装置127(如鼠标或光笔)。此外，I/O装置还可以为计算装置100提供存储装置128和/或安装介质116。在其它实施例中，计算装置100可以提供USB连接以接收手持USB存储装置，例如由位于Los Alamitos，California的Twintech Industry公司生产的设备的USB闪存驱动器线。

在一些实施例中，计算装置100可以包括多个显示装置124a-124n或与其相连，这些显示装置可以是相同或不同的类型和/或形式。因而，任意一种I/O装置130a-130n和/或I/O控制器123可以包括任一类型和/或形式的适当的硬件、软件或硬件和软件的组合，以支持、允许或提供通过计算装置100连接和使用多个显示装置124a-124n。例如，计算装置100可以包括任意类型和/或形式的视频适配器、视频卡、驱动器和/或库，以与显示装置124a-124n对接、通信、连接或使用显示装置。在一个实施例中，视频适配器可以包括多个连接器以与多个显示装置124a-124n对接。在其它实施例中，计算装置100可以包括多个视频适配器，每个视频适配器与显示装置124a-124n中的一个或多个连接。在一些实施例中，计算装置100的操作系统的任一部分都可以被配置用于使用多个显示器124a-124n。在其它实施例中，显示装置124a-124n中的一个或多个可以由一个或多个其它计算装置提供，诸如(例如通过网络)与计算装置100连接的计算装置100a和100b。这些实施例可以包括被设计和构造的任一类型的软件，以使用另一个计算机的显示装置作为计算装置100的第二显示装置124a。本领域的普通技术人员会认识和意识到可以将计算装置100配置成拥有多个显示装置124a-124n的各种方式和实施例。

在进一步的实施例中，I/O装置130可以是系统总线150和外部通信总线(如USB总线、Apple桌面总线、RS-232串行连接、SCSI总线、FireWire总线、FireWire800总线、以太网总线、AppleTalk总线、千兆位以太网总线、异步传输模式总线、HIPPI总线、超级HIPPI总线、SerialPlus总线、SCI/LAMP总线、光纤信道总线或串行SCSI总线)之间的桥170.

图1E和1F中描述的那类计算装置100通常地在控制任务的调度和对系统资源的访问的操作系统的控制下操作。计算装置100可以运行任何操作系统，如

Windows操作系统，不同发行版本的Unix和Linux操作系统，用于Macintosh计算机的任意版本的

任意嵌入式操作系统，任意实时操作系统，任意开源操作系统，任意专有操作系统，任意用于移动计算装置的操作系统，或者任意其它能够在计算装置上运行并完成这里所述操作的操作系统。典型的操作系统包括：WINDOWS 3.x、WINDOWS 95、WINDOWS98、WINDOWS 2000、WINDOWS NT 3.51、WINDOWS NT 4.0、WINDOWS CE和WINDOWSXP，所有这些均由位于Redmond，Washington的微软公司出品；由位于Cupertino，California的苹果计算机出品的MacOS；由位于Armonk，New York的国际商业机器公司出品的OS/2；以及由位于Salt Lake City，Utah的Caldera公司发布的可免费使用的Linux操作系统或者任意类型和/或形式的Unix操作系统，以及其它。

在其它实施例中，计算装置100可以有不同的处理器、操作系统以及与其一致的输入设备。例如，在一个实施例中，计算机100是由Palm公司出品的Treo180、270、1060、600或650智能电话。在该实施例中，Treo智能电话在PalmOS操作系统的控制下操作，并包括指示笔输入装置以及五向导航装置。此外，计算装置100可以是任意工作站、桌面计算机、膝上型或笔记本计算机、服务器、手持计算机、移动电话、任意其它计算机、或能够通信并有足够的处理器能力和存储容量以执行此处所述的操作的其它形式的计算或者电信装置。

如图1G所示，计算装置100可以包括多个处理器，可以提供用于同时执行指令或者同时执行有关多于一条数据的指令的功能。在一些实施例中，计算装置100可包括具有一个或多个内核的并行处理器。一个这样的实施例中，计算装置100是共享内层并行设备，具有多个处理器和/或多个处理器内核，把所有可用内存作为一个全局地址空间进行访问。另一个这样的实施例中，计算装置100是分布式内存并行设备，具有多个处理器，每个处理器仅访问本地存储器。另一个这样的实施例中，计算装置100既有共享的存储器又有仅由特定处理器或处理器子集访问的存储器。另一个这样的实施例中，如多核微处理器的计算装置100把两个或多个独立处理器组合在一个封装中，通常在一个集成电路(IC)中。另一个这样的实施例中，计算装置100包括具有单元宽带引擎(CELL BROADBAND ENGINE)架构的芯片，并包括高能处理器单元以及多个协同处理单元，高能处理器单元和多个协同处理单元通过内部高速总线连接在一起，可以将内部高速总线称为单元互连总线。

一些实施例中，处理器提供用于同时执行有关多条数据(SIMD)的一个指令的功能。其他实施例中，处理器提供用于同时执行有关多条数据(SIMD)的多个指令的功能。另一个实施例中，处理器可以在一个装置中使用SIMD和MIMD内核的任意组合。

在一些实施例中，计算装置100可包括图像处理单元。图1H所示的一个这样的实施例中，计算装置100包括至少一个中央处理单元101和至少一个图像处理单元。另一个这样的实施例中，计算装置100包括至少一个并行处理单元和至少一个图像处理单元。另一个这样的实施例中，计算装置100包括任意类型的多个处理单元，多个处理单元中的一个包括图像处理单元。

一些实施例中，第一计算装置100a代表客户计算装置100b的用户执行应用。另一个实施例中，计算装置100执行虚拟机，其提供执行会话，在该会话中，代表客户计算装置100b的用户执行应用。一个这样的实施例中，执行会话是寄载的桌面会话。另一个这样的实施例中，计算装置100执行终端服务会话。终端服务会话可以提供寄载的桌面环境。另一个这样的实施例中，执行会话提供对计算环境的访问，计算环境可包括以下的一个或多个：应用、多个应用、桌面应用以及在其中可执行一个或多个应用的桌面会话。

B、设备架构

图2A示出设备200的一个示例实施例。提供图2A的设备200架构仅用于示例，并不意于作为限制性的架构。如图2所示，设备200包括硬件层206和被分为用户空间202和内核空间204的软件层。

硬件层206提供硬件元件，在内核空间204和用户空间202中的程序和服务在该硬件元件上被执行。硬件层206也提供结构和元件，就设备200而言，这些结构和元件允许在内核空间204和用户空间202内的程序和服务既在内部又与外部进行数据通信。如图2所示，硬件层206包括用于执行软件程序和服务的处理单元262，用于存储软件和数据的存储器264，用于通过网络传输和接收数据的网络端口266，以及用于执行与安全套接字协议层相关的功能处理通过网络传输和接收的数据的加密处理器260。在一些实施例中，中央处理单元262可在单独的处理器中执行加密处理器260的功能。另外，硬件层206可包括用于每个处理单元262和加密处理器260的多处理器。处理器262可以包括以上结合图1E和1F所述的任一处理器101。例如，在一个实施例中，设备200包括第一处理器262和第二处理器262’。在其它实施例中，处理器262或者262’包括多核处理器。

虽然示出的设备200的硬件层206通常带有加密处理器260，但是处理器260可为执行涉及任何加密协议的功能的处理器，例如安全套接字协议层(SSL)或者传输层安全(TLS)协议。在一些实施例中，处理器260可为通用处理器(GPP)，并且在进一步的实施例中，可为用于执行任何安全相关协议处理的可执行指令。

虽然在图2中设备200的硬件层206示为具有一些元件，但是设备200的硬件部分或组件可包括计算装置的任何类型和形式的元件、硬件或软件，例如此处结合图1E和1F示出和讨论的计算装置100。在一些实施例中，设备200可包括服务器、网关、路由器、开关、桥接器或其它类型的计算或网络设备，并且拥有与此相关的任何硬件和/或软件元件。

设备200的操作系统分配、管理或另外分离可用的系统存储器到内核空间204和用户空间204。在示例的软件架构200中，操作系统可以是任意类型和/或形式的Unix操作系统，尽管本发明并未这样限制。这样，设备可以允许任何操作系统，如任何版本的

Windows操作系统、不同版本的Unix和Linux操作系统、用于Macintosh计算机的任意版本的

任意的嵌入式操作系统、任意的网络操作系统、任意的实时操作系统、任意的开放源操作系统、任意的专用操作系统、用于移动计算装置或网络装置的任意操作系统、或者能够运行在设备200上并执行此处所描述的操作的任意其它操作系统。

保留内核空间204用于运行内核230，内核230包括任何设备驱动器，内核扩展或其他内核相关软件。就像本领域技术人员所知的，内核230是操作系统的核心，并提供对资源以及设备104的相关硬件元件的访问、控制和管理。根据设备200的实施例，内核空间204也包括与高速缓存管理器232协同工作的多个网络服务或进程，高速缓存管理器232有时也称为集成的高速缓存，其益处此处将进一步详细描述。另外，内核230的实施例将依赖于通过设备200安装、配置或其他使用的操作系统的实施例。

在一个实施例中，设备200包括一个网络堆栈267，例如基于TCP/IP的堆栈，用于与客户机102和/或服务器106通信。在一个实施例中，使用网络堆栈267与第一网络(例如网络108)以及第二网络110通信。在一些实施例中，设备200终止第一传输层连接，例如客户机102的TCP连接，并建立到客户机102使用的到服务器106的第二传输层连接，例如，终止在设备200和服务器106的第二传输层连接。可通过单独的网络堆栈267建立第一和第二传输层连接。在其他实施例中，设备200可包括多个网络堆栈，例如267或267’，并且在一个网络堆栈267可建立或终止第一传输层连接，在第二网络堆栈267’上可建立或者终止第二传输层连接。例如，一个网络堆栈可用于在第一网络上接收和传输网络分组，并且另一个网络堆栈用于在第二网络上接收和传输网络分组。在一个实施例中，网络堆栈267包括用于对一个或多个网络分组进行排队的缓冲器243，其中网络分组由设备200传输。

如图2所示，内核空间204包括高速缓存管理器232、高速层2-7集成分组引擎240、加密引擎234、策略引擎236以及多协议压缩逻辑238。在内核空间204或内核模式而不是用户空间202中运行这些组件或进程232、240、234、236和238提高这些组件中的每个单独的和结合的性能。内核操作意味着这些组件或进程232、240、234、236和238在设备200的操作系统的核地址空间中运行。例如，在内核模式中运行加密引擎234通过移动加密和解密操作到内核可改进加密性能，从而可减少在内核模式中的存储空间或内核线程与在用户模式中的存储空间或线程之间的传输的数量。例如，在内核模式获得的数据可能不需要传输或拷贝到运行在用户模式的进程或线程，例如从内核级数据结构到用户级数据结构。在另一个方面，也可减少内核模式和用户模式之间的上下文切换的数量。另外，在任何组件或进程232、240、235、236和238间的同步和通信在内核空间204中可被执行的更有效率。

在一些实施例中，组件232、240、234、236和238的任何部分可在内核空间204中运行或操作，而这些组件232、240、234、236和238的其它部分可在用户空间202中运行或操作。在一个实施例中，设备200使用内核级数据结构来提供对一个或多个网络分组的任何部分的访问，例如，包括来自客户机102的请求或者来自服务器106的响应的网络分组。在一些实施例中，可以由分组引擎240通过到网络堆栈267的传输层驱动器接口或过滤器获得内核级数据结构。内核级数据结构可包括通过与网络堆栈267相关的内核空间204可访问的任何接口和/或数据、由网络堆栈267接收或发送的网络业务或分组。在其他实施例中，任何组件或进程232、240、234、236和238可使用内核级数据结构来执行组件或进程的需要的操作。在一个实例中，当使用内核级数据结构时，组件232、240、234、236和238在内核模式204中运行，而在另一个实施例中，当使用内核级数据结构时，组件232、240、234、236和238在用户模式中运行。在一些实施例中，内核级数据结构可被拷贝或传递到第二内核级数据结构，或任何期望的用户级数据结构。

高速缓存管理器232可包括软件、硬件或软件和硬件的任意组合，以提供对任何类型和形式的内容的高速缓存访问、控制和管理，例如对象或由源服务器106提供服务的动态产生的对象。被高速缓存管理器232处理和存储的数据、对象或内容可包括任何格式的数据，例如标记语言，或通过任何协议的通信。在一些实施例中，高速缓存管理器232复制存储在其他地方的原始数据或先前计算、产生或传输的数据，其中相对于读高速缓存存储器元件，需要更长的访问时间以取得、计算或以其他方式得到原始数据。一旦数据被存储在高速缓存存储元件中，通过访问高速缓存的副本而不是重新获得或重新计算原始数据即可进行后续操作，因此而减少了访问时间。在一些实施例中，高速缓存元件可以包括设备200的存储器264中的数据对象。在其它实施例中，高速缓存存储元件可包括有比存储器264更快的存取时间的存储器。在另一个实施例中，高速缓存元件可以包括设备200的任一类型和形式的存储元件，诸如硬盘的一部分。在一些实施例中，处理单元262可提供被高速缓存管理器232使用的高速缓存存储器。在又一个实施例中，高速缓存管理器232可使用存储器、存储区或处理单元的任何部分和组合来高速缓存数据、对象或其它内容。

另外，高速缓存管理器232包括用于执行此处描述的设备200的技术的任一实施例的任何逻辑、功能、规则或操作。例如，高速缓存管理器232包括基于无效时间周期的终止，或者从客户机102或服务器106接收无效命令使对象无效的逻辑或功能。在一些实施例中，高速缓存管理器232可作为程序、服务、进程或任务操作执行在内核空间204中，并且在其他实施例中，在用户空间202中执行。在一个实施例中，高速缓存管理器232的第一部分在用户空间202中执行，而第二部分在内核空间204中执行。在一些实施例中，高速缓存管理器232可包括任何类型的通用处理器(GPP)，或任何其他类型的集成电路，例如现场可编程门阵列(FPGA)，可编程逻辑设备(PLD)，或者专用集成电路(ASIC)。

策略引擎236可包括，例如，智能统计引擎或其它可编程应用。在一个实施例中，策略引擎236提供配置功能以允许用户识别、指定、定义或配置高速缓存策略。策略引擎236，在一些实施例中，也访问存储器以支持数据结构，例如备份表或hash表，以启用用户选择的高速缓存策略决定。在其它实施例中，除了对安全、网络业务、网络访问、压缩或其它任何由设备200执行的功能或操作的访问、控制和管理之外，策略引擎236可包括任何逻辑、规则、功能或操作以决定和提供对设备200所高速缓存的对象、数据、或内容的访问、控制和管理。特定高速缓存策略的其它实施例此处进一步描述。

加密引擎234包括用于控制任何安全相关协议处理，例如SSL或TLS，或其相关的任何功能的任何逻辑、商业规则、功能或操作。例如，加密引擎234加密并解密通过设备200传输的网络分组，或其任何部分。加密引擎234也可代表客户机102a-102n、服务器106a-106n或设备200来安装或建立SSL或TLS连接。因此，加密引擎234提供SSL处理的卸载和加速。在一个实施例中，加密引擎234使用隧道协议来提供在客户机102a-102n和服务器106a-106n间的虚拟专用网络。在一些实施例中，加密引擎234与加密处理器260通信。在其它实施例中，加密引擎234包括运行在加密处理器260上的可执行指令。

多协议压缩引擎238包括用于压缩一个或多个网络分组协议(例如被设备200的网络堆栈267使用的任何协议)的任何逻辑、商业规则、功能或操作。在一个实施例中，多协议压缩引擎238双向压缩在客户机102a-102n和服务器106a-106n间任一基于TCP/IP的协议，包括消息应用编程接口(MAPI)(电子邮件)、文件传输协议(FTP)、超文本传输协议(HTTP)、通用Internet文件系统(CIFS)协议(文件传输)、独立计算架构(ICA)协议、远程桌面协议(RDP)、无线应用协议(WAP)、移动IP协议以及IP上语音(VoIP)协议。在其它实施例中，多协议压缩引擎238提供基于超文本标记语言(HTML)的协议的压缩，并且在一些实施例中，提供任何标记语言的压缩，例如可扩展标记语言(XML)。在一个实施例中，多协议压缩引擎238提供任何高性能协议的压缩，例如为设备200设计的用于设备200通信的任何协议。在另一个实施例中，多协议压缩引擎238使用修改的传输控制协议来压缩任何载荷或任何通信，例如事务TCP(T/TCP)、带有选择确认的TCP(TCP-SACK)、带有大窗口的TCP(TCP-LW)、例如TCP-Vegas协议的拥塞预报协议以及TCP欺骗协议。

同样的，多协议压缩引擎238通过桌面客户机，例如Micosoft Outlook和非web瘦客户机，诸如由通用企业应用像Oracle、SAP和Siebel启动的任何客户机，甚至移动客户机，例如便携式个人计算机，来加速用户访问应用的执行。在一些实施例中，多协议压缩引擎238通过在内核模式204内部执行并与访问网络堆栈267的分组处理引擎240集成，可以压缩TCP/IP协议携带的任何协议，例如任何应用层协议。

高速层2-7集成分组引擎240，通常也称为分组处理引擎，或分组引擎，通过网络端口266负责设备200接收和发送的分组的内核级处理的管理。高速层2-7集成分组引擎240可包括在处理期间用于排队一个或多个网络分组的缓冲器，例如用于网络分组的接收或者网络分组的传输。另外，高速层2-7集成分组引擎240通过网络端口266与一个或多个网络堆栈267通信以发送和接收网络分组。高速层2-7集成分组引擎240与加密引擎234、高速缓存管理器232、策略引擎236和多协议压缩逻辑238协同工作。更具体地，配置加密引擎234以执行分组的SSL处理，配置策略引擎236以执行涉及业务管理的功能，例如请求级内容切换以及请求级高速缓存重定向，并配置多协议压缩逻辑238以执行涉及数据压缩和解压缩的功能。

高速层2-7集成分组引擎240包括分组处理定时器242。在一个实施例中，分组处理定时器242提供一个或多个时间间隔以触发输入处理，例如，接收或者输出(即传输)网络分组。在一些实施例中，高速层2-7集成分组引擎240响应于定时器242处理网络分组。分组处理定时器242向分组引擎240提供任何类型和形式的信号以通知、触发或传输时间相关事件、间隔或发生。在许多实施例中，分组处理定时器242以毫秒级操作，例如100ms、50ms、或25ms。例如，在一些实例中，分组处理定时器242提供时间间隔或者其它使得高速层2-7集成分组引擎240以10ms时间间隔处理网络分组，而在其它实施例中，使高速层2-7集成分组引擎240以5ms时间间隔处理网络分组，并且在进一步的实施例中，短到3、2或1ms时间间隔。高速层2-7集成分组引擎240在操作期间可与加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238连接、集成或通信。因此，响应于分组处理定时器242和/或分组引擎240，可执行加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238的任何逻辑、功能或操作。因此，在由分组处理定时器242提供的时间间隔粒度，可执行加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238的任何逻辑、功能或操作，例如，时间间隔少于或等于10ms。例如，在一个实施例中，响应于高速层2-7集成分组引擎240和/或分组处理定时器242，高速缓存管理器232可执行任何高速缓存的对象的无效。在另一个实施例中，高速缓存的对象的终止或无效时间被设定为与分组处理定时器242的时间间隔相同的粒度级，例如每10ms。

与内核空间204不同，用户空间202是被用户模式应用或在用户模式运行的程序所使用操作系统的存储区域或部分。用户模式应用不能直接访问内核空间204，为了访问内核服务需要使用服务调用。如图2所示，设备200的用户空间202包括图形用户接口(GUI)210、命令行接口(CLI)212、壳服务(shell service)214、健康监控程序216以及守护(daemon)服务218。GUI 210和CLI 212提供系统管理员或其他用户可与之交互并控制设备操作的装置，例如通过设备200的操作系统。GUI210和CLI 212可包括运行在用户空间202或内核框架204中的代码。GUI 210可以是任何类型或形式的图形用户接口，可以通过文本、图形或其他形式由任何类型的程序或应用(如浏览器)来呈现。CLI 212可为任何类型和形式的命令行或基于文本的接口，例如通过操作系统提供的命令行。例如，CLI 212可包括壳，该壳是使用户与操作系统相互作用的工具。在一些实施例中，可通过bash、csh、tcsh或者ksh类型的壳提供CLI 212。壳服务214包括程序、服务、任务、进程或可执行指令以支持由用户通过GUI 210和/或CLI 212的与设备200或者操作系统的交互

使用健康监控程序216用于监控、检查、报告并确保网络系统运行正常，以及用户正通过网络接收所请求的内容。健康监控程序216包括一个或多个程序、服务、任务、进程或可执行指令，为监控设备200的任何行为提供逻辑、规则、功能或操作。在一些实施例中，健康监控程序216拦截并检查通过设备200传递的任何网络业务。在其他实施例中，健康监控程序216通过任何合适的方法和/或机制与一个或多个下述设备连接：加密引擎234，高速缓存管理器232，策略引擎236，多协议压缩逻辑238，分组引擎240，守护服务218以及壳服务214。因此，健康监控程序216可调用任何应用编程接口(API)以确定设备200的任何部分的状态、情况或健康。例如，健康监控程序216可周期性地查验或发送状态查询以检查程序、进程、服务或任务是否活动并当前正在运行。在另一个实施例中，健康监控程序216可检查由任何程序、进程、服务或任务提供的任何状态、错误或历史日志以确定设备200任何部分的任何状况、状态或错误。

守护服务218是连续运行或在背景中运行的程序，并且处理设备200接收的周期性服务请求。在一些实施例中，守护服务可向其他程序或进程(例如合适的另一个守护服务218)转发请求。如本领域技术人员所公知的，守护服务218可无人监护的运行，以执行连续的或周期性的系统范围功能，例如网络控制，或者执行任何需要的任务。在一些实施例中，一个或多个守护服务218运行在用户空间202中，而在其它实施例中，一个或多个守护服务218运行在内核空间。

现在参见图2B，描述了设备200的另一个实施例。总的来说，设备200提供下列服务、功能或操作中的一个或多个：用于一个或多个客户机102以及一个或多个服务器106之间的通信的SSL VPN连通280、交换/负载平衡284、域名服务解析286、加速288和应用防火墙290。服务器106的每一个可以提供一个或者多个网络相关服务270a-270n(称为服务270)。例如，服务器106可以提供http服务270。设备200包括一个或者多个虚拟服务器或者虚拟互联网协议服务器，称为vServer 275、vS 275、VIP服务器或者仅是VIP 275a-275n(此处也称为vServer 275)。vServer275根据设备200的配置和操作来接收、拦截或者以其它方式处理客户机102和服务器106之间的通信。

vServer 275可以包括软件、硬件或者软件和硬件的任意组合。vServer275可包括在设备200中的用户模式202、内核模式204或者其任意组合中运行的任意类型和形式的程序、服务、任务、进程或者可执行指令。vServer275包括任意逻辑、功能、规则或者操作，以执行此处所述技术的任意实施例，诸如SSL VPN 280、转换/负载平衡284、域名服务解析286、加速288和应用防火墙290。在一些实施例中，vServer 275建立到服务器106的服务270的连接。服务275可以包括能够连接到设备200、客户机102或者vServer 275并与之通信的任意程序、应用、进程、任务或者可执行指令集。例如，服务275可以包括web服务器、http服务器、ftp、电子邮件或者数据库服务器。在一些实施例中，服务270是守护进程或者网络驱动器，用于侦听、接收和/或发送应用的通信，诸如电子邮件、数据库或者企业应用。在一些实施例中，服务270可以在特定的IP地址、或者IP地址和端口上通信。

在一些实施例中，vServer 275应用策略引擎236的一个或者多个策略到客户端102和服务器106之间的网络通信。在一个实施例中，该策略与vServer 275相关。在另一个实施例中，该策略基于用户或者用户组。在又一个实施例中，策略为通用的并且应用到一个或者多个vServer 275a-275n，和通过设备200通信的任意用户或者用户组。在一些实施例中，策略引擎的策略具有基于通信的任意内容应用该策略的条件，通信的内容诸如互联网协议地址、端口、协议类型、分组中的首部或者字段、或者通信的上下文，诸如用户、用户组、vServer 275、传输层连接、和/或客户机102或者服务器106的标识或者属性。

在其他实施例中，设备200与策略引擎236通信或接口，以便确定远程用户或远程客户端102的验证和/或授权，以访问来自服务器106的计算环境15、应用和/或数据文件。在另一个实施例中，设备200与策略引擎236通信或接口，以便确定远程用户或远程客户端102的验证和/或授权，使得应用传送系统190传送一个或多个计算环境15、应用和/或数据文件。在另一个实施例中，设备200基于策略引擎236对远程用户或远程客户机102的验证和/或授权建立VPN或SSL VPN连接。一个实施例中，设备200基于策略引擎236的策略控制网络业务流量以及通信会话。例如，基于策略引擎236，设备200可控制对计算环境15、应用或数据文件的访问。

在一些实施例中，vServer 275与客户端102经客户端代理120建立传输层连接，诸如TC、P或者UDP连接。在一个实施例中，vServer 275侦听和接收来自客户端102的通信。在其它实施例中，vServer 275与客户端服务器106建立传输层连接，诸如TCP或者UDP连接。在一个实施例中，vServer275建立到运行在服务器106上的服务器270的互联网协议地址和端口的传输层连接。在另一个实施例中，vServer 275将到客户端102的第一传输层连接与到服务器106的第二传输层连接相关联。在一些实施例中，vServer275建立到服务器106的传输层连接池并经由所述池化的传输层连接多路复用客户机的请求。

在一些实施例中，设备200提供客户端102和服务器106之间的SSL VPN连接280。例如，第一网络102上的客户端102请求建立到第二网络104’上的服务器106的连接。在一些实施例中，第二网络104’是不能从第一网络104路由的。在其它实施例中，客户端102位于公用网络104上，并且服务器106位于专用网络104’上，例如企业网。在一个实施例中，客户端代理120拦截第一网络104上的客户端102的通信，加密该通信，并且经第一传输层连接发送该通信到设备200。设备200将第一网络104上的第一传输层连接与到第二网络104上的服务器106的第二传输层连接相关联。设备200接收来自客户端代理102的所拦截的通信，解密该通信，并且经第二传输层连接发送该通信到第二网络104上的服务器106。第二传输层连接可以是池化的传输层连接。同样的，设备200为两个网络104、104’之间的客户机102提供端到端安全传输层连接。

在一个实施例中，设备200寄载虚拟专用网络104上的客户机102的内部网内部互联网协议或者IntranetIP 282地址。客户端102具有本地网络识别符，诸如第一网络104上的互联网协议(IP)地址和/或主机名称。当经设备200连接到第二网络104’时，设备200为客户端102在第二网络104’上建立、分配或者以其它方式提供IntranetIP，即网络识别符，诸如IP地址和/或主机名称。使用客户机的所建立的IntranetIP 282，设备200在第二或专用网104′上侦听并接收指向客户机102的任意通信。在一个实施例中，设备200用作或者代表第二专用网络104上的客户端102。例如，在另一个实施例中，vServer 275侦听和响应到客户端102的IntranetIP 282的通信。在一些实施例中，如果第二网络104’上的计算装置100发送请求，设备200如同客户端102一样来处理该请求。例如，设备200可以响应对客户端IntranetIP 282的查验。在另一个实施例中，设备可以与请求和客户端IntranetIP 282连接的第二网络104上的计算装置100建立连接，诸如TCP或者UDP连接。

在一些实施例中，设备200为客户机102和服务器106之间的通信提供下列一个或多个加速技术288:1)压缩；2)解压缩；3)传输控制协议池；4)传输控制协议多路复用；5)传输控制协议缓冲；以及6)高速缓存。在一个实施例中，设备200通过开启与每一服务器106的一个或者多个传输层连接并且维持这些连接以允许由客户端经因特网的重复数据访问，来为服务器106缓解由重复开启和关闭到客户端102的传输层连接所带来的许多处理负载。该技术此处称为“连接池”。

在一些实施例中，为了经池化的传输层连接无缝拼接从客户端102到服务器106的通信，设备200通过在传输层协议级修改序列号和确认号来翻译或多路复用通信。这被称为“连接多路复用”。在一些实施例中，不需要应用层协议交互作用。例如，在到来分组(即，自客户机102接收的分组)的情况中，所述分组的源网络地址被改变为设备200的输出端口的网络地址，而目的网络地址被改为目的服务器的网络地址。在发出分组(即，自服务器106接收的一个分组)的情况中，源网络地址被从服务器106的网络地址改变为设备200的输出端口的网络地址，而目的地址被从设备200的地址改变为请求的客户机102的地址。分组的序列号和确认号也被转换为到客户机102的设备200的传输层连接上的客户机102所期待的序列号和确认。在一些实施例中，传输层协议的包校验和被重新计算以适应这些转换。

在另一个实施例中，设备200为客户机102和服务器106之间的通信提供交换或负载平衡功能284。在一些实施例中，设备200根据层4或应用层请求数据来分配业务量并将客户机请求指向服务器106。在一个实施例中，尽管网络层或者网络分组的层2识别目的服务器106，但设备200利用承载为传输层分组的有效载荷的数据和应用信息来确定服务器106以便分发网络分组。在一个实施例中，设备200的健康监控程序216监控服务器的健康来确定分发客户端请求到哪个服务器106。在一些实施例中，如果设备200探测到某个服务器106不可用或者具有超过预定阈值的负载，设备200可以将客户端请求指向或者分发到另一个服务器106。

在一些实施例中，设备200用作域名服务(DNS)解析器或者以其它方式为来自客户端102的DNS请求提供解析。在一些实施例中，设备拦截由客户端102发送的DNS请求。在一个实施例中，设备200以设备200所寄载的或其IP地址来响应客户端的DNS请求。在此实施例中，客户端102把给域名的网络通信发送到设备200。在另一个实施例中，设备200以第二设备200’所寄载的或其IP地址来响应客户端的DNS请求。在一些实施例中，设备200使用由设备200确定的服务器106的IP地址来响应客户端的DNS请求。

在又一个实施例中，设备200为客户机102和服务器106之间的通信提供应用防火墙功能290。在一个实施例中，策略引擎236提供用于探测和阻断非法请求的规则。在一些实施例中，应用防火墙290防御拒绝服务(DoS)攻击。在其它实施例中，设备检查所拦截的请求的内容，以识别和阻断基于应用的攻击。在一些实施例中，规则/策略引擎236包括用于提供对多个种类和类型的基于web或因特网的脆弱点的保护的一个或多个应用防火墙或安全控制策略，例如下列的一个或多个：1)缓冲区溢出，2)CGI-BIN参数操纵，3)表单/隐藏字段操纵，4)强制浏览，5)cookie或会话中毒，6)被破坏的访问控制列表(ACL)或弱密码，7)跨站脚本处理(XSS)，8)命令注入，9)SQL注入，10)错误触发敏感信息泄露，11)对加密的不安全使用，12)服务器错误配置，13)后门和调试选项，14)网站涂改，15)平台或操作系统弱点，和16)零天修复。在一个实施例中，对下列情况的一种或多种，应用防火墙290以检查或分析网络通信的形式来提供HTML格式字段的保护：1)返回所需的字段，2)不允许附加字段，3)只读和隐藏字段强制(enforcement)，4)下拉列表和单选按钮字段的一致，以及5)格式字段最大长度强制。在一些实施例中，应用防火墙290确保没有修改cookie。在其它实施例中，应用防火墙290通过执行合法的URL来防御强迫浏览。

在另一些实施例中，应用防火墙290保护包括在网络通信中的任意机密信息。应用防火墙290可以根据引擎236的规则或策略来检查或分析任一网络通信以识别在网络分组的任一字段中的任一机密信息。在一些实施例中，应用防火墙290在网络通信中识别信用卡号、口令、社会保险号、姓名、病人代码、联系信息和年龄的一次或多次出现。网络通信的编码部分可以包括这些出现或机密信息。基于这些出现，在一个实施例中，应用防火墙290可以采取作用于网络通信上的策略，诸如阻止发送网络通信。在另一个实施例中，应用防火墙290可以重写、移动或者以其它方式掩蔽该所识别的出现或者机密信息。

仍然参考图2B，设备200可以包括如上面结合图1D所讨论的性能监控代理197。在一个实施例中，设备200从如图1D中所描述的监控服务198或监控服务器106中接收监控代理197。在一些实施例中，设备200在诸如磁盘的存储装置中保存监控代理197，以用于传送给与设备200通信的任意客户机或服务器。例如，在一个实施例中，设备200在接收到建立传输层连接的请求时发送监控代理197给客户机。在其它实施例中，设备200在建立与客户机102的传输层连接时发送监控代理197。在另一个实施例中，设备200在拦截或检测对web页面的请求时发送监控代理197给客户机。在又一个实施例中，设备200响应于监控服务器198的请求来发送监控代理197到客户机或服务器。在一个实施例中，设备200发送监控代理197到第二设备200′或设备205。

在其它实施例中，设备200执行监控代理197。在一个实施例中，监控代理197测量和监控在设备200上执行的任意应用、程序、进程、服务、任务或线程的性能。例如，监控代理197可以监控和测量vServers 275A-275N的性能与操作。在另一个实施例中，监控代理197测量和监控设备200的任意传输层连接的性能。在一些实施例中，监控代理197测量和监控通过设备200的任意用户会话的性能。在一个实施例中，监控代理197测量和监控通过设备200的诸如SSL VPN会话的任意虚拟专用网连接和/或会话的性能。在进一步的实施例中，监控代理197测量和监控设备200的内存、CPU和磁盘使用以及性能。在又一个实施例中，监控代理197测量和监控诸如SSL卸载、连接池和多路复用、高速缓存以及压缩的由设备200执行的任意加速技术288的性能。在一些实施例中，监控代理197测量和监控由设备200执行的任一负载平衡和/或内容交换284的性能。在其它实施例中，监控代理197测量和监控由设备200执行的应用防火墙290保护和处理的性能。

C、客户端代理

现在看图3，描述客户端代理120的实施例。客户端102包括客户端代理120，用于经网络104与设备200和/或服务器106来建立和交换通信。总的来说，客户端102在计算装置100上操作，该计算装置100拥有带有内核模式302以及用户模式303的操作系统，以及带有一个或多个层310a-310b的网络堆栈310。客户端102可以已经安装和/或执行一个或多个应用。在一些实施例中，一个或多个应用可通过网络堆栈310与网络104通信。所述应用之一，诸如web浏览器，也可包括第一程序322。例如，可在一些实施例中使用第一程序322来安装和/或执行客户端代理120，或其中任意部分。客户端代理120包括拦截机制或者拦截器350，用于从网络堆栈310拦截来自一个或者多个应用的网络通信。

客户端102的网络堆栈310可包括任何类型和形式的软件、或硬件或其组合，用于提供与网络的连接和通信。在一个实施例中，网络堆栈310包括用于网络协议组的软件实现。网络堆栈310可包括一个或多个网络层，例如为本领域技术人员所公认和了解的开放式系统互联(OSI)通信模型的任何网络层。这样，网络堆栈310可包括用于任何以下OSI模型层的任何类型和形式的协议：1)物理链路层；2)数据链路层；3)网络层；4)传输层；5)会话层)；6)表示层，以及7)应用层。在一个实施例中，网络堆栈310可包括在因特网协议(IP)的网络层协议上的传输控制协议(TCP)，通常称为TCP/IP。在一些实施例中，可在Ethernet协议上实施TCP/IP协议，Ethernet协议可包括IEEE广域网(WAN)或局域网(LAN)协议的任何族，例如被IEEE802.3覆盖的这些协议。在一些实施例中，网络堆栈310包括任何类型和形式的无线协议，例如IEEE 802.11和/或移动因特网协议。

考虑基于TCP/IP的网络，可使用任何基于TCP/IP的协议，包括消息应用编程接口(MAPI)(email)、文件传输协议(FTP)、超文本传输协议(HTTP)、通用因特网文件系统(CIFS)协议(文件传输)、独立计算框架(ICA)协议、远程桌面协议(RDP)、无线应用协议(WAP)、移动IP协议，以及IP语音(VoIP)协议。在另一个实施例中，网络堆栈310包括任何类型和形式的传输控制协议，诸如修改的传输控制协议，例如事务TCP(T/TCP)，带有选择确认的TCP(TCP-SACK)，带有大窗口的TCP(TCP-LW)，拥塞预测协议，例如TCP-Vegas协议，以及TCP电子欺骗协议。在其他实施例中，任何类型和形式的用户数据报协议(UDP)，例如IP上UDP，可被网络堆栈310使用，诸如用于语音通信或实时数据通信。

另外，网络堆栈310可包括支持一个或多个层的一个或多个网络驱动器，例如TCP驱动器或网络层驱动器。网络层驱动器可作为计算装置100的操作系统的一部分或者计算装置100的任何网络接口卡或其它网络访问组件的一部分而被包括。在一些实施例中，网络堆栈310的任何网络驱动器可被定制、修改或调整以提供网络堆栈310的定制或修改部分，用来支持此处描述的任何技术。在其它实施例中，设计并构建加速程序120以与网络堆栈310协同操作或工作，上述网络堆栈310由客户端102的操作系统安装或以其它方式提供。

网络堆栈310包括任何类型和形式的接口，用于接收、获得、提供或以其它方式访问涉及客户端102的网络通信的任何信息和数据。在一个实施例中，与网络堆栈310的接口包括应用编程接口(API)。接口也可包括任何函数调用、钩子或过滤机制，事件或回调机制、或任何类型的接口技术。网络堆栈310通过接口可接收或提供与网络堆栈310的功能或操作相关的任何类型和形式的数据结构，例如对象。例如，数据结构可以包括与网络分组相关的信息和数据或者一个或多个网络分组。在一些实施例中，数据结构包括在网络堆栈310的协议层处理的网络分组的一部分，例如传输层的网络分组。在一些实施例中，数据结构325包括内核级别数据结构，而在其他实施例中，数据结构325包括用户模式数据结构。内核级数据结构可以包括获得的或与在内核模式302中操作的网络堆栈310的一部分相关的数据结构、或者运行在内核模式302中的网络驱动程序或其它软件、或者由运行或操作在操作系统的内核模式的服务、进程、任务、线程或其它可执行指令获得或收到的任意数据结构。

此外，网络堆栈310的一些部分可在内核模式302执行或操作，例如，数据链路或网络层，而其他部分在用户模式303执行或操作，例如网络堆栈310的应用层。例如，网络堆栈的第一部分310a可以给应用提供对网络堆栈310的用户模式访问，而网络堆栈310的第二部分310a提供对网络的访问。在一些实施例中，网络堆栈的第一部分310a可包括网络堆栈310的一个或多个更上层，例如层5-7的任意层。在其它实施例中，网络堆栈310的第二部分310b包括一个或多个较低的层，例如层1-4的任意层。网络堆栈310的每个第一部分310a和第二部分310b可包括网络堆栈310的任何部分，位于任意一个或多个网络层，处于用户模式203、内核模式202，或其组合，或在网络层的任何部分或者到网络层的接口点，或用户模式203和内核模式202的任何部分或到用户模式203和内核模式202的接口点。

拦截器350可以包括软件、硬件、或者软件和硬件的任意组合。在一个实施例中，拦截器350在网络堆栈310的任一点拦截网络通信，并且重定向或者发送网络通信到由拦截器350或者客户端代理120所期望的、管理的或者控制的目的地。例如，拦截器350可以拦截第一网络的网络堆栈310的网络通信并且发送该网络通信到设备200，用于在第二网络104上发送。在一些实施例中，拦截器350包括含有诸如被构建和设计来与网络堆栈310对接并一同工作的网络驱动器的驱动器的任一类型的拦截器350。在一些实施例中，客户端代理120和/或拦截器350操作在网络堆栈310的一个或者多个层，诸如在传输层。在一个实施例中，拦截器350包括过滤器驱动器、钩子机制、或者连接到网络堆栈的传输层的任一形式和类型的合适网络驱动器接口，诸如通过传输驱动器接口(TDI)。在一些实施例中，拦截器350连接到诸如传输层的第一协议层和诸如传输协议层之上的任意层的另一个协议层，例如，应用协议层。在一个实施例中，拦截器350可以包括遵守网络驱动器接口规范(NDIS)的驱动器，或者NDIS驱动器。在另一个实施例中，拦截器350可以包括微型过滤器或者微端口驱动器。在一个实施例中，拦截器350或其部分在内核模式202中操作。在另一个实施例中，拦截器350或其部分在用户模式203中操作。在一些实施例中，拦截器350的一部分在内核模式202中操作，而拦截器350的另一部分在用户模式203中操作。在其它实施例中，客户机代理120在用户模式203操作，但通过拦截器350连接到内核模式驱动器、进程、服务、任务或者操作系统的部分，诸如以获取内核级数据结构225。在其它实施例中，拦截器350为用户模式应用或者程序，诸如应用。

在一个实施例中，拦截器350拦截任意的传输层连接请求。在这些实施例中，拦截器350执行传输层应用编程接口(API)调用以设置位置的目的信息，诸如到期望位置的目的IP地址和/或端口用于定位。以此方式，拦截器350拦截并重定向传输层连接到由拦截器350或客户机代理120控制或管理的IP地址和端口。在一个实施例中，拦截器350把连接的目的信息设置为客户端代理120侦听的客户端的本地IP地址和端口。例如，客户端代理120可以包括为重定向的传输层通信侦听本地IP地址和端口的代理服务。在一些实施例中，客户端代理120随后将重定向的传输层通信传送到设备200。

在一些实施例中，拦截器350拦截域名服务(DNS)请求。在一个实施例中，客户端代理120和/或拦截器350解析DNS请求。在另一个实施例中，拦截器发送所拦截的DNS请求到设备200以进行DNS解析。在一个实施例中，设备200解析DNS请求并且将DNS响应传送到客户端代理120。在一些实施例中，设备200经另一个设备200’或者DNS服务器106来解析DNS请求。

在又一个实施例中，客户端代理120可以包括两个代理120和120’。在一个实施例中，第一代理120可以包括在网络堆栈310的网络层操作的拦截器350。在一些实施例中，第一代理120拦截网络层请求，诸如因特网控制消息协议(ICMP)请求(例如，查验和跟踪路由)。在其它实施例中，第二代理120’可以在传输层操作并且拦截传输层通信。在一些实施例中，第一代理120在网络堆栈210的一层拦截通信并且与第二代理120’连接或者将所拦截的通信传送到第二代理120’。

客户端代理120和/或拦截器350可以以对网络堆栈310的任意其它协议层透明的方式在协议层操作或与之对接。例如，在一个实施例中，拦截器350可以以对诸如网络层的传输层之下的任意协议层和诸如会话、表示或应用层协议的传输层之上的任意协议层透明的方式在网络堆栈310的传输层操作或与之对接。这允许网络堆栈310的其它协议层如所期望的进行操作并无需修改以使用拦截器350。这样，客户端代理120和/或拦截器350可以与传输层连接以安全、优化、加速、路由或者负载平衡经由传输层承载的任一协议提供的任一通信，诸如TCP/IP上的任一应用层协议。

此外，客户端代理120和/或拦截器可以以对任意应用、客户端102的用户和与客户端102通信的诸如服务器的任意其它计算装置透明的方式在网络堆栈310上操作或与之对接。客户端代理120和/或拦截器350可以以无需修改应用的方式被安装和/或执行在客户端102上。在一些实施例中，客户端102的用户或者与客户端102通信的计算装置未意识到客户端代理120和/或拦截器350的存在、执行或者操作。同样，在一些实施例中，相对于应用、客户机102的用户、诸如服务器的另一个计算装置、或者在由拦截器350连接的协议层之上和/或之下的任意协议层透明地来安装、执行和/或操作客户机代理120和/或拦截器350。

客户机代理120包括加速程序302、流客户机306、收集代理304和/或监控代理197。在一个实施例中，客户端代理120包括由Florida，FortLauderdale的Citrix Systems Inc.开发的独立计算架构(ICA)客户端或其任一部分，并且也指ICA客户端。在一些实施例中，客户端120包括应用流客户端306，用于从服务器106流式传输应用到客户端102。在一些实施例中，客户端代理120包括加速程序302，用于加速客户端102和服务器106之间的通信。在另一个实施例中，客户端代理120包括收集代理304，用于执行端点检测/扫描并且用于为设备200和/或服务器106收集端点信息。

在一些实施例中，加速程序302包括用于执行一个或多个加速技术的客户机侧加速程序，以加速、增强或者以其他方式改善客户机与服务器106的通信和/或对服务器106的访问，诸如访问由服务器106提供的应用。加速程序302的可执行指令的逻辑、函数和/或操作可以执行一个或多个下列加速技术：1)多协议压缩，2)传输控制协议池，3)传输控制协议多路复用，4)传输控制协议缓冲，以及5)通过高速缓存管理器的高速缓存。另外，加速程序302可执行由客户端102接收和/或发送的任何通信的加密和/或解密。在一些实施例中，加速程序302以集成的方式或者格式执行一个或者多个加速技术。另外，加速程序302可以对作为传输层协议的网络分组的有效载荷所承载的任一协议或者多协议执行压缩。

流客户机306包括应用、程序、进程、服务、任务或者可执行指令，所述应用、程序、进程、服务、任务或者可执行指令用于接收和执行从服务器106所流式传输的应用。服务器106可以流式传输一个或者多个应用数据文件到流客户端306，用于播放、执行或者以其它方式引起客户端102上的应用被执行。在一些实施例中，服务器106发送一组压缩或者打包的应用数据文件到流客户端306。在一些实施例中，多个应用文件被压缩并存储在文件服务器上档案文件中，例如CAB、ZIP、SIT、TAR、JAR或其它档案文件。在一个实施例中，服务器106解压缩、解包或者解档应用文件并且将该文件发送到客户端102。在另一个实施例中，客户端102解压缩、解包或者解档应用文件。流客户端306动态安装应用或其部分，并且执行该应用。在一个实施例中，流客户机306可以为可执行程序。在一些实施例中，流客户端306可以能够启动另一个可执行程序。

收集代理304包括应用、程序、进程、服务、任务或者可执行指令，用于识别、获取和/或收集关于客户端102的信息。在一些实施例中，设备200发送收集代理304到客户端102或者客户端代理120。可以根据设备的策略引擎236的一个或多个策略来配置收集代理304。在其它实施例中，收集代理304发送收集的客户端102的信息到设备200。在一个实施例中，设备200的策略引擎236使用所收集的信息来确定和提供客户端到网络104的连接的访问、验证和授权控制。

在一个实施例中，收集代理304包括端点检测和扫描机制，其识别并且确定客户端的一个或者多个属性或者特征。例如，收集代理304可以识别和确定任意一个或多个以下的客户机侧属性：1)操作系统和/或操作系统的版本，2)操作系统的服务包，3)运行的服务，4)运行的进程，和5)文件。收集代理304还可以识别并确定客户端上一个或多个以下软件的存在或版本：1)防病毒软件；2)个人防火墙软件；3)防垃圾邮件软件，和4)互联网安全软件。策略引擎236可以具有基于客户机或客户机侧属性的任意一个或多个属性或特性的一个或多个策略。

在一些实施例中，客户机代理120包括如结合图1D和2B所讨论的监控代理197。监控代理197可以是诸如Visual Basic或Java脚本的任意类型和形式的脚本。在一个实施例中，监控代理129监控和测量任意部分的客户机代理120的性能。例如，在一些实施例中，监控代理129监控和测量加速程序302的性能。在另一个实施例中，监控代理129监控和测量流客户机306的性能。在其它实施例中，监控代理129监控和测量收集代理304的性能。在又一个实施例中，监控代理129监控和测量拦截器350的性能。在一些实施例中，监控代理129监控和测量客户机102的诸如存储器、CPU和磁盘的任意资源。

监控代理197可以监控和测量客户机的任意应用的性能。在一个实施例中，监控代理129监控和测量客户机102上的浏览器的性能。在一些实施例中，监控代理197监控和测量经由客户机代理120传送的任意应用的性能。在其它实施例中，监控代理197测量和监控诸如基于web或HTTP响应时间的应用的最终用户响应时间。监控代理197可以监控和测量ICA或RDP客户机的性能。在另一个实施例中，监控代理197测量和监控用户会话或应用会话的指标。在一些实施例中，监控代理197测量和监控ICA或RDP会话。在一个实施例中，监控代理197测量和监控设备200在加速传送应用和/或数据到客户机102的过程中的性能。

在一些实施例中，仍旧参见图3，第一程序322可以用于自动地、静默地、透明地或者以其它方式安装和/或执行客户端代理120或其部分，诸如拦截器350。在一个实施例中，第一程序322包括插件组件，例如ActiveX控件或Java控件或脚本，其加载到应用并由应用执行。例如，第一程序包括由web浏览器应用载入和运行的ActiveX控件，例如在存储器空间或应用的上下文中。在另一个实施例中，第一程序322包括可执行指令集，该可执行指令集被例如浏览器的应用载入并执行。在一个实施例中，第一程序322包括被设计和构造的程序以安装客户端代理120。在一些实施例中，第一程序322通过网络从另一个计算装置获得、下载、或接收客户端代理120。在另一个实施例中，第一程序322是用于在客户端102的操作系统上安装如网络驱动的程序的安装程序或即插即用管理器。

D、用于提供虚拟化的应用传送控制器的系统和方法

现在，参看图4A，框图示出虚拟化环境400的一个实施例。总体而言，计算装置100包括管理程序层、虚拟化层和硬件层。管理程序层包括管理程序401(也称为虚拟化管理器)，其通过在虚拟化层中执行的至少一个虚拟机来分配和管理对硬件层中的多个物理资源的访问(例如处理器421和磁盘428)。虚拟化层包括至少一个操作系统410和分配给至少一个操作系统410的多个虚拟资源。虚拟资源可包括而不限于多个虚拟处理器432a、432b、432c(总称为432)和虚拟盘442a、442b、442c(总称为442)，以及如虚拟内存和虚拟网络接口的虚拟资源。可将多个虚拟资源和操作系统称为虚拟机406。虚拟机406可包括与管理程序401通信的控制操作系统405，所述控制操作系统405用于执行应用以管理并配置计算装置100上的其他虚拟机。

具体而言，管理程序401可以以模拟可访问物理设备的操作系统的任何方式向操作系统提供虚拟资源。管理程序401可以向任一数量的客户操作系统410a、410b(总称为410)提供虚拟资源。一些实施例中，计算装置100执行一种或多种管理程序。这些实施例中，管理程序可用于模拟虚拟硬件、划分物理硬件、虚拟化物理硬件并执行提供对计算环境的访问的虚拟机。管理程序可包括由Palo Alto，California的VMWare制造的这些程序、XEN管理程序(一种开源产品，其开发由开源Xen.org协会监管)、由微软公司提供的HyperV、VirtualServer或虚拟PC管理程序，或其他。一些实施例中，将执行管理程序的计算装置100称为宿主服务器，所述管理程序创建客户操作系统可在其上执行的虚拟机平台。在一个这样的实施例中，例如，计算装置100是由位于Fort Lauderdale FL的Citrix Systems公司提供的XENSERVER。

一些实施例中，管理程序401在计算装置上执行的操作系统之内执行。一个这样的实施例中，执行操作系统和管理程序401的计算装置可被视为具有宿主操作系统(在计算装置上执行的操作系统)和客户操作系统(在由管理程序401提供的计算资源分区内执行的操作系统)。其他实施例中，管理程序401和计算装置上的硬件直接交互而不是在宿主操作系统上执行。一个这样的实施例中，管理程序401可被认为是在“裸金属(bare metal)”上执行，所述“裸金属”指包括计算装置的硬件。

一些实施例中，管理程序401可以创建操作系统410在其中执行的虚拟机406a-c(总称为406)。在一个这样的实施例中，管理程序401加载虚拟机镜像以创建虚拟机406。另一个这样的实施例中，管理程序401在虚拟机406内执行操作系统410。仍在另一个这样的实施例中，虚拟机406执行操作系统410。

一些实施例中，管理程序401控制在计算装置100上执行的虚拟机406的处理器调度和内存划分。一个这样的实施例中，管理程序401控制至少一个虚拟机406的执行。另一个这样的实施例中，管理程序401向至少一个虚拟机406呈现由计算装置100提供的至少一个硬件资源的抽象。其他实施例中，管理程序401控制是否以及如何把物理处理器能力呈现给虚拟机406。

控制操作系统405可以执行用于管理和配置客户操作系统的至少一个应用。一个实施例中，控制操作系统405可以执行管理程序，如包括如下用户接口的应用，该用户接口为管理员提供对用于管理虚拟机执行的功能的访问，这些功能包括用于执行虚拟机、中止虚拟机执行或者识别要分配给虚拟机的物理资源的功能。另一个实施例中，管理程序401在由管理程序401创建的虚拟机406内执行控制操作系统405。另一个实施例中，控制操作系统405在被授权直接访问计算装置100上的物理资源的虚拟机406上执行。一些实施例中，计算装置100a上的控制操作系统405a可以通过管理程序401a和管理程序401b之间的通信与计算装置100b上的控制操作系统405b交换数据。这样，一个或多个计算装置100可以和一个或多个其他计算装置100交换有关处理器或资源池中可用的其他物理资源的数据。一个这样的实施例中，这种功能允许管理程序管理分布在多个物理计算装置上的资源池。另一个这样的实施例中，多个管理程序管理在一个计算装置100上执行的一个或多个客户操作系统。

一个实施例中，控制操作系统405在被授权与至少一个客户操作系统410交互的虚拟机406上执行。另一个实施例中，客户操作系统410通过管理程序401和控制操作系统405通信，以请求访问磁盘或网络。仍在另一个实施例中，客户操作系统410和控制操作系统405可通过由管理程序401建立的通信信道通信，例如，通过由管理程序401提供的多个共享存储器页面。

一些实施例中，控制操作系统405包括用于直接与由计算装置100提供的网络硬件通信的网络后端驱动器。一个这样的实施例中，网络后端驱动器处理来自至少一个客户操作系统110的至少一个虚拟机请求。其他实施例中，控制操作系统405包括用于与计算装置100上的存储单元通信的块后端驱动器。一个这样的实施例中，块后端驱动器基于从客户操作系统410接收的至少一个请求从存储单元读写数据。

一个实施例，控制操作系统405包括工具堆栈404。其他实施例中，工具堆栈404提供如下功能：和管理程序401交互、和其他控制操作系统405(例如位于第二计算装置100b上)通信，或者管理计算装置100上的虚拟机406b、406c。另一个实施例中，工具堆栈404包括自定义应用，用于向虚拟机群的管理员提供改进的管理功能。一些实施例中，工具堆栈404和控制操作系统405中的至少一个包括管理API，其提供用于远程配置并控制计算装置100上运行的虚拟机406的接口。其他实施例中，控制操作系统405通过工具堆栈104和管理程序401通信。

一个实施例中，管理程序401在由管理程序401创建的虚拟机406内执行客户操作系统410。另一个实施例中，客户操作系统410为计算装置100的用户提供对计算环境中的资源的访问。另一个实施例中，资源包括程序、应用、文档、文件、多个应用、多个文件、可执行程序文件、桌面环境、计算环境或对计算装置100的用户可用的其他资源。另一个实施例中，可通过多个访问方法将资源传送给计算装置100，这些方法包括但不限于：常规的直接安装在计算装置100上、通过应用流送方法传送给计算装置100、把由在第二计算装置100′上执行资源产生的并通过表示层协议传送给计算装置100的输出数据传送给计算装置100、把由在第二计算装置100′上执行的虚拟机执行资源所产生的输出数据传送给计算装置100、或者从连接到计算装置100的移动存储装置(例如USB设备)执行、或者通过在计算装置100上执行的虚拟机执行并且产生输出数据。一些实施例中，计算装置100把执行资源产生的输出数据传输给另一个计算装置100′。

一个实施例中，客户操作系统410和该客户操作系统410在其上执行的虚拟机结合形成完全虚拟化虚拟机，该完全虚拟化虚拟机并不知道自己是虚拟机，这样的机器可称为“Domain U HVM(硬件虚拟机)虚拟机”。另一个实施例中，完全虚拟化机包括模拟基本输入/输出系统(BIOS)的软件以便在完全虚拟化机中执行操作系统。仍在另一个实施例中，完全虚拟化机可包括驱动器，其通过和管理程序401通信提供功能。这样的实施例中，驱动器可意识到自己在虚拟化环境中执行。另一个实施例中，客户操作系统410和该客户操作系统410在其上执行的虚拟机结合形成超虚拟化虚拟机(paravirtualized)，该超虚拟化虚拟机知道自己是虚拟机，这样的机器可称为“Domain U PV虚拟机”。另一个实施例中，超虚拟化机包括完全虚拟化机不包括的额外驱动器。另一个实施例中，超虚拟化机包括如上所述的被包含在控制操作系统405中的网络后端驱动器和块后端驱动器。

现参考图4B，框图描述了系统中的多个联网计算装置的一个实施例，其中，至少一个物理主机执行虚拟机。总体而言，系统包括管理组件404和管理程序401。系统包括多个计算装置100、多个虚拟机406、多个管理程序401、多个管理组件(又称为工具堆栈404)以及物理资源421、428。多个物理机器100的每一个可被提供为如上结合图1E-1H和图4A描述的计算装置100。

具体而言，物理盘428由计算装置100提供，存储至少一部分虚拟盘442。一些实施例中，虚拟盘442和多个物理盘428相关联。一个这样的实施例中，一个或多个计算装置100可以和一个或多个其他计算装置100交换有关处理器或资源池中可用的其他物理资源的数据，允许管理程序管理分布在多个物理计算装置上的资源池。一些实施例中，将虚拟机406在其上执行的计算装置100称为物理主机100或主机100。

管理程序在计算装置100上的处理器上执行。管理程序把对物理盘的访问量分配给虚拟盘。一个实施例中，管理程序401分配物理盘上的空间量。另一个实施例中，管理程序401分配物理盘上的多个页面。一些实施例中，管理程序提供虚拟盘442作为初始化和执行虚拟机450进程的一部分。

一个实施例中，将管理组件404a称为池管理组件404a。另一个实施例中，可以称为控制管理系统405a的管理操作系统405a包括管理组件。一些实施例中，将管理组件称为工具堆栈。一个这样的实施例中，管理组件是以上结合图4A描述的工具堆栈404。其他实施例中，管理组件404提供用户接口，用于从如管理员的用户接收要提供和/或执行的虚拟机406的标识。仍在其他实施例中，管理组件404提供用户接口，用于从如管理员的用户接收把虚拟机406b从一个物理机器100迁移到另一物理机器的请求。其他实施例中，管理组件404a识别在其上执行请求的虚拟机406d的计算装置100b并指示所识别的计算装置100b上的管理程序401b执行所识别的虚拟机，这样，可将管理组件称为池管理组件。

现参考图4C，描述了虚拟化应用传送控制器或虚拟设备450的实施例。总体而言，以上结合图2A和2B描述的设备200的任何功能和/或实施例(例如应用传送控制器)可以部署在上述结合图4A和4B描述的虚拟化环境的实施例中。应用传送控制器的功能不是以设备200的形式部署，而是把该功能部署在诸如客户机102、服务器106或设备200的任何计算装置100上的虚拟化环境400中。

现在参考图4C，描述了在服务器106的管理程序401上运行的虚拟设备450的实施例的框图。如图2A和2B的设备200一样，虚拟机450可以提供可用性、性能、卸载和安全的功能。对于可用性，虚拟设备可以执行网络第4层和第7层之间的负载平衡并执行智能服务健康监控。对于通过网络业务加速实现的性能增加，虚拟设备可以执行缓存和压缩。对于任何服务器的卸载处理，虚拟设备可以执行连接复用和连接池和/或者SSL处理。对于安全，虚拟设备可以执行设备200的任何应用防火墙功能和SSL VPN功能。

结合附图2A描述的设备的任何模块可以虚拟化设备传送控制器450的形式被打包、组合、设计或构造，虚拟化设备传送控制器450可部署成在诸如现货供应的服务器的任何服务器上的虚拟化环境300或非虚拟化环境中执行的软件模块或组件。例如，可以安装在计算装置上的安装包的形式提供虚拟设备。参看图2A，可以把高速缓存管理器232、策略引擎236、压缩238、加密引擎234、分组引擎240、GUI 210、CLI 212、壳服务214中的任一个设计和构成在计算装置和/或虚拟化环境300的任何操作系统上运行的组件或模块。虚拟化设备400不使用设备200的加密处理器260、处理器262、存储器264和网络堆栈267，而是可使用虚拟化环境400提供的任何这些资源或者服务器106上以其他方式可用的这些资源。

仍然参看图4C，简言之，任何一个或多个vServer 275A-275N可以操作或执行在任意类型的计算装置100(如服务器106)的虚拟化环境400中。结合附图2B描述的设备200的任何模块和功能可以设计和构造成在服务器的虚拟化或非虚拟化环境中操作。可以把vServer 275、SSL VPN 280、内网UP 282、交换装置284、DNS 286、加速装置288、APP FW 280和监控代理中的任一个打包、组合、设计或构造成应用传送控制器450的形式，应用传送控制器450可部署成在装置和/或虚拟化环境400中执行的一个或多个软件模块或组件。

一些实施例中，服务器可以在虚拟化环境中执行多个虚拟机406a-406b，每个虚拟机运行虚拟化应用传送控制器450的相同或不同实施例。一些实施例中，服务器可以在多核处理系统的一个核上执行一个或多个虚拟机上的一个或多个虚拟设备450。一些实施例中，服务器可以在多处理器装置的每个处理器上执行一个或多个虚拟机上的一个或多个虚拟设备450。

E、提供多核架构的系统和方法

根据摩尔定律，每两年集成电路上可安装的晶体管的数量会基本翻倍。然而，CPU速度增加会达到稳定水平(plateaus)，例如，2005年以来，CPU速度在约3.5-4GHz的范围内。一些情况下，CPU制造商可能不依靠CPU速度增加来实现更好的性能。一些CPU制造商会给处理器增加额外的核以提供更好的性能。依靠CPU获得性能改善的如软件和网络供应商的产品可以通过利用这些多核CPU来改进他们的性能。可以重新设计和/或编写为单CPU设计和构造的软件以利用多线程、并行架构或其他多核架构。

一些实施例中，称为nCore或多核技术的设备200的多核架构允许设备打破单核性能障碍并利用多核CPU的能力。前文结合图2A描述的架构中，运行单个网络或分组引擎。nCore技术和架构的多核允许同时和/或并行地运行多个分组引擎。通过在每个核上运行分组引擎，设备架构利用附加核的处理能力。一些实施例中，这提供了高达七倍的性能改善和扩展性。

图5A示出根据一类并行机制或并行计算方法(如功能并行机制、数据并行机制或基于流的数据并行机制)在一个或多个处理器核上分布的工作、任务、负载或网络业务的一些实施例。总体而言，图5A示出如具有n个核的设备200′的多核系统的实施例，n个核编号为1到N。一个实施例中，工作、负载或网络业务可以分布在第一核505A、第二核505B、第三核505C、第四核505D、第五核505E、第六核505F、第七和505G等上，这样，分布位于所有n个核505N(此后统称为核505)或n个核中的两个或多个上。可以有多个VIP 275，每个运行在多个核的各个核中。可以有多个分组引擎240，每个运行在多个核的各个核中。所使用方法中任一种可产生多个核中任一核上的不同的、变化的或类似的工作负载或性能等级515。对于功能并行方法，每个核运行由分组引擎、VIP 275或设备200提供的多个功能的不同功能。在数据并行方法中，数据可基于接收数据的网络接口卡(NIC)或VIP 275并行或分布在核上。另一个数据并行方法中，可通过把数据流分布在每个核上而将处理分布在多个核上。

图5A的进一步的细节中，一些实施例中，可以根据功能并行机制500把负载、工作或网络业务分布在多个核505上。功能并行机制可基于执行一个或多个相应功能的每个核。一些实施例中，第一核可执行第一功能，同时第二核执行第二功能。功能并行方法中，根据功能性把多核系统要执行的功能划分并分布在每个核上。一些实施例中，可将功能并行机制称为任务并行机制，并且可在每个处理器或核对同一数据或不同数据执行不同过程或功能时实现。核或处理器可执行相同或不同的代码。一些情况下，不同的执行线程或代码可在工作时相互通信。可以进行通信以把数据作为工作流的一部分从一个线程传递给下一线程。

一些实施例中，根据功能并行机制500把工作分布在多个核505上，可以包括根据具体功能分布网络业务，具体功能例如为网络输入/输出管理(NWI/O)510A、安全套接层(SSL)加密和解密510B和传输控制协议(TCP)功能510C。这会产生基于所使用的功能量或功能性级别的工作、动作或者计算负载515。一些实施例中，根据基于流的数据并行机制540把工作分布在多个核505上可包括基于和具体硬件或软件组件相关联的分布数据来分布工作量515。一些实施例中，根据基于流的数据并行机制520把工作分布在多个核505上可包括基于上下文或流来分布数据，从而使得每个核上的工作量515A-N可以类似、基本相等或者相对平均分布。

功能并行方法的情况下，可以配置每个核来运行由设备的分组引擎或VIP提供的多个功能性中的一个或多个功能性。例如，核1可执行设备200′的网络I/O处理，同时核2执行设备的TCP连接管理。类似地，核3可执行SSL卸载，同时核4可执行第7层或应用层处理和业务管理。每个核可执行相同或不同的功能。每个核可执行不只一个功能。任一核可运行结合附图2A和2B识别和/或描述的功能或其一部分。该方法中，核上的工作可以粗粒度或细粒度方式按功能划分。一些情况下，如图5A所示，按功能划分会使得不同核运行在不同的性能或负载515级别。

功能并行方法的情况下，可以配置每个核来运行由设备的分组引擎提供的多个功能性中的一个或多个功能性。例如，核1可执行设备200′的网络I/O处理，同时核2执行设备的TCP连接管理。类似地，核3可执行SSL卸载，同时核4可执行第7层或应用层处理和业务管理。每个核可执行相同或不同的功能。每个核可执行多于一个功能。任一核可运行结合附图2A和2B识别和/或描述的功能或其一部分。该方法中，核上的工作可以粗粒度或细粒度方式按功能划分。一些情况下，如图5A所示，按功能划分会使得不同核运行在不同的性能或负载级别。

可以用任何结构或方法来分布功能或任务。例如，图5B示出用于处理与网络I/O功能510A相关联的应用和进程第一核Corel 505A。一些实施例中，和网络I/O相关的网络业务可以和具体端口号相关联。因而，把具有与NW I/O 510A相关联的端口目的地的发出和到来的分组导引给Corel 505A，Corel 505A用于处理和NW I/O端口相关联的所有网络业务。类似的，Core2505B用于处理和SSL处理相关联的功能，Core4 505D可用于处理所有TCP级处理和功能。

虽然图5A示出如网络I/O、SSL和TCP的功能，也可把其他功能分配给核。这些其他功能可包括此处描述的任一或多个功能或操作。例如，结合图2A和2B描述的任一功能可基于功能基础分布在多个核上。一些情况下，第一VIP 275 A可运行在第一核上，同时，具有不同配置的第二VIP 275B可运行在第二核上。一些实施例中，每个核505可处理特定功能，这样每个核505可处理和特定功能相关的处理。例如，Core2 505B可处理SSL卸载，同时Core4 505D可处理应用层处理和业务管理。

其他实施例中，可根据任何类型或形式的数据并行机制540把工作、负载或网络业务分布在核505上。一些实施例中，可由每个核对分布式数据的不同片执行相同任务或功能来实现多核系统中的数据并行机制。一些实施例中，单个执行线程或代码控制对所有数据片的操作。其他实施例中，不同线程或指令控制操作，但是可执行相同代码。一些实施例中，从分组引擎、vServer(VIP)275A-C、网络接口卡(NIC)542D-E和/或设备200上包括的或者与设备200相关联的任何其他网络硬件或软件的角度实现数据并行机制。例如，每个核可运行同样的分组引擎或VIP代码或配置但是在不同的分布的数据集上进行操作。每个网络硬件或软件结构可接收不同的、变化的或者基本相同量的数据，因而可以具有变化的、不同的或相对相同量的负载515。

在数据并行方法的情况下，可以基于VIP、NIC和/或VIP或NIC的数据流来划分和分布工作。一个这样的方法中，可通过使每个VIP在分布的数据集上工作来把多核系统的工作划分或者分布在VIP上。例如，可配置每个核运行一个或多个VIP。网络业务可分布在处理业务的每个VIP的核上。另一个这样的方法中，可基于哪个NIC接收网络业务来把设备的工作划分或分布在多个核上。例如，第一NIC的网络业务可分布在第一核上，同时第二NIC的网络业务可分布给第二个核。一些情况下，核可处理多个NIC的数据。

虽然图5A示出了与单个核505相关的单个vServer，正如VIP1 275A、VIP2 275B和VIP 3275C的情况。但是，一些实施例中，单个vServer可以和一个或者多个核505相关联。相反，一个或多个vServer可以和单个核505相关联。把vServer和核505关联可包括该核505处理与该特定vServer关联的所有功能。一些实施例中，每个核执行具有相同代码和配置的VIP。其他实施例中，每个核执行具有相同代码但配置不同的VIP。一些实施例中，每个核执行具有不同代码且配置相同或不同的VIP。

和vServer类似，NIC也可以和特定核505关联。许多实施例中，NIC可以连接到一个或多个核505，这样，当NIC接收或发送数据分组时，特定核505处理涉及接收和发送数据分组相关的处理。一个实施例中，单个NIC可以和一个核505相关联，这如NIC1 542D和NIC2 542E的情况。其他实施例中，一个或多个NIC可以和单个核505相关联。但其他实施例中，单个NIC可以和一个或者多个核505相关联。这些实施例中，负载可以分布在一个或多个核505上，这样，每个核505基本上处理类似的负载量。和NIC关联的核505可以处理和该特定NIC关联的所有功能和/或数据。

虽然根据VIP或NIC的数据把工作分布在核上具有某种程度的独立性，但是，一些实施例中，这会造成如图5A的变化负载515所示的核的不平衡核使用。

一些实施例中，可根据任何类型或形式的数据流把负载、工作或网络业务分布在核505上。另一个这样的方法中，可基于数据流把工作划分或分布在多个核上。例如，客户机或服务器之间的通过设备的网络业务可以被分布到多个核中的一个核并且由其来处理。一些情况下，最初建立会话或连接的核可以是该会话或连接的网络业务所分布的核。一些实施例中，数据流基于网络业务的任何单元或部分，如事务、请求/响应通信或来自客户机上的应用的业务。这样，一些实施例中，客户机和服务器之间的通过设备200′的数据流可以比其他方式分布的更均衡。

在基于流的数据并行机制520中，数据分布和任何类型的数据流相关，例如请求/响应对、事务、会话、连接或应用通信。例如，客户机或服务器之间的通过设备的网络业务可以被分布到多个核中的一个核并且由其处理。一些情况下，最初建立会话或连接的核可以是该会话或连接的网络业务所分布的核。数据流可以这样分布，以使得每个核505运行基本相等或相对均匀分布的负载量、数据量或网络业务量。

一些实施例中，数据流基于网络业务的任何单元或部分，如事务、请求/响应通信或发自客户机上的应用的业务。这样，一些实施例中，客户机和服务器之间的穿过设备200′的数据流可以比其他方式分布的更均衡。一个实施例中，可以基于事务或一系列事务分布数据量。一些实施例中，该事务可以是客户机和服务器之间的，其特征可以是IP地址或其他分组标识符。例如，核1 505A可专用于特定客户机和特定服务器之间的事务，因此，核1 505A上的负载536A可包括与特定客户机和服务器之间的事务相关联的网络业务。可通过把来自特定客户机或服务器的所有数据分组路由到核1 505A来把网络业务分配给核1 505A。

虽然可部分地基于事务把工作或负载分布在核上，但是，其他实施例中，可基于每个分组的基础分配负载或工作。这些实施例中，设备200可拦截数据分组并把数据分组分配给负载量最小的核505。例如，由于核1上的负载536A小于其他核505B-N上的负载536B-N，所以设备200可把第一到来数据分组分配给核1 505A。把第一数据分组分配给核1 505A后，核1 505A上的负载量536A与处理第一数据分组所需的处理资源量成比例增加。设备200拦截到第二数据分组时，设备200会把负载分配给核4 505D，这是由于核4505D具有第二少的负载量。一些实施例中，把数据分组分配给负载量最小的核可确保分配给每个核505的负载536A-N保持基本相等。

其他实施例中，把一部分网络业务分配给特定核505的情况下，可以每单元为基础分配负载。上述示例说明以每分组为基础进行负载平衡。其他实施例中，可以基于分组数目分配负载，例如，把每10个、100个或1000个分组分配给业务量最少的核505。分配给核505的分组数量可以是由应用、用户或管理员确定的数目，而且可以为大于零的任何数。仍在其他实施例中，基于时间度量分配负载，这样，在预定时间段把分组分配给特定核505。这些实施例中，可以在5毫秒内或者由用户、程序、系统、管理器或其他方式确定的任何时间段把分组分配给特定核505。预定时间段过去后，在预定时间段内把时间分组传输给其他核505。

用于把工作、负载或网络业务分布在一个或多个核505上的基于流的数据并行方法可包括上述实施例的任意组合。这些方法可以由设备200的任何部分执行，由在核505上执行的应用或者一组可执行指令执行，例如分组引擎，或者由在与设备200通信的计算装置上执行的任何应用、程序或代理执行。

图5A所示的功能和数据并行机制计算方法可以任何方式组合，以产生混合并行机制或分布式处理方法，其包括功能并行机制500、数据并行机制540、基于流的数据并行机制520或者其任何部分。一些情况下，多核系统可使用任何类型或形式的负载平衡方法来把负载分布在一个或多个核505上。负载平衡方法可以和任何功能和数据平行方法或其组合结合使用。

图5B示出多核系统545的实施例，该系统可以是任何类型或形式的一个或多个系统、设备、装置或组件。一些实施例中，该系统545可被包括在具有一个或多个处理核505A-N的设备200内。系统545还可包括与存储器总线556通信的一个或多个分组引擎(PE)或分组处理引擎(PPE)548A-N。存储器总线可用于和一个或多个处理核505A-N通信。系统545还可包括一个或多个网络接口卡(NIC)552和流分布器550，流分布器还可和一个或多个处理核505A-N通信。流分布器550可包括接收侧换算器(Scaler)(RSS)或接收侧换算(Scaling)(RSS)模块560。

进一步参看图5B，具体而言，一个实施例中，分组引擎548A-N可包括此处所述的设备200的任何部分，例如图2A和2B所述设备的任何部分。一些实施例中，分组引擎548A-N可包括以下元件中的任一个：分组引擎240、网络堆栈267、高速缓存管理器232、策略引擎236、压缩引擎238、加密引擎234、GUI 210、CLI 212、壳服务214、监控程序216以及可以从数据总线556或一个或多个核505A-N中的任一个接收数据分组的其他任何软件和硬件元件。一些实施例中，分组引擎548A-N可包括一个或多个vServer 275A-N或其任何部分。其他实施例中，分组引擎548A-N可包括以下功能的任意组合：SSL VPN 280、IntranetUP 282、交换284、DNS286、分组加速288、APPFW 280、如由监控代理197提供的监控、和作为TCP堆栈关联的功能、负载平衡、SSL卸载和处理、内容切换、测量评估、高速缓存、压缩、编码、解压缩、解码、应用防火墙功能、XML处理和加速以及SSL VPN连接。

一些实施例中，分组引擎548A-N可以和特定服务器、用户、客户或网络关联。分组引擎548和特定实体关联时，分组引擎548可处理和该实体关联的数据分组。例如，如果分组引擎548和第一用户关联，那么该分组引擎548就处理并操作由第一用户产生的分组，或者目标地址和第一用户关联的分组。类似地，分组引擎548可选择不和特定实体关联，这样，分组引擎548可处理并操作不是由该实体产生的或目的是该实体的任何数据分组。

一些情况下，可配置分组引擎548A-N来执行图5A所示的任何功能和/或数据并行方法。这些情况下，分组引擎548A-N可把功能或数据分布在多个核505A-N上，从而使得分布是根据并行机制或分布方法的。一些实施例中，单个分组引擎548A-N执行负载平衡方法，其他实施例中，一个或多个分组引擎548A-N执行负载平衡方法。一个实施例中，每个核505A-N可以和特定分组引擎505关联，这样，可以由分组引擎进行负载平衡。该实施例中，负载平衡可要求和核505关联的每个分组引擎505与和核505关联的其他分组引擎505通信，这样，分组引擎505共同决定把负载分布在何处。该方法的一个实施例可包括从每个分组引擎505接收有关负载的投票的仲裁器。仲裁器可部分基于引擎投票的持续时间把负载分配给每个负载引擎505，一些情况下，还可基于与和核505关联的引擎上的当前负载量相关联的优先级值来把负载分配给每个负载引起505。

核上运行的任何分组引擎可以运行于用户模式、内核模式或其任意组合。一些实施例中，分组引擎作为在用户空间或应用空间中运行的应用或程序来操作。这些实施例中，分组引擎可使用任何类型或形式的接口来访问内核提供的任何功能。一些实施例中，分组引擎操作于内核模式或作为内核的一部分来操作。一些实施例中，分组引擎的第一部分操作于用户模式，分组引擎的第二部分操作于内核模式。一些实施例中，第一核上的第一分组引擎执行于内核模式，同时，第二核上的第二分组引擎执行于用户模式。一些实施例中，分组引擎或其任何部分对NIC或其任何驱动器进行操作或者与之一同工作。

一些实施例中，存储器总线556可以是任何类型或形式的存储器或计算机总线。虽然图5B描述了单个存储器总线556，但是系统545可包括任意数量的存储器总线556。一个实施例中，每个分组引擎548可以和一个或者多个单独的存储器总线556相关联。

一些实施例中，NIC 552可以是任一网络接口卡或者此处所述网络接口机制。NIC 552可具有任意多个端口。NIC可设计并构造成连接到任何类型和形式的网络104。虽然示出单个NIC 552，但是，系统545可包括任意多个NIC 552。一些实施例中，每个核505A-N可以和一个或多个单个NIC 552关联。因而，每个核505可以与专用于特定核505的一个NIC 552关联。核505A-N可包括此处所述的任意处理器。此外，可根据此处所述的任意核505的配置来配置核505A-N。另外，核505A-N可具有此处所述的任何核505功能。虽然图5B示出七个核505A-G，但是系统545可包括任意多个核505。具体而言，系统545可包括N个核，其中N是大于零的整数。

核可具有或使用被分配或指派用于该核的存储器。可把存储器视为该核的专有或本地存储器，并且仅有该核访问该存储器。核可具有或使用共享的或指派给多个核的存储器。该存储器可被视为由不只一个核访问的公共或共享存储器。核可使用专有或公共存储器的组合。通过让每个核具有单独的地址空间，消除了使用同一地址空间的情况的一些协调级别。利用单独的地址空间，核可以对核自己的地址空间中的信息和数据进行工作，而不用担心和其他核冲突。每个分组引擎可以具有用于TCP和/或SSL连接的单独存储器池。

仍然参看图5B，以上结合图5A描述的核的任何功能和/或实施例可以部署在上述结合图4A和4B描述的虚拟化环境的实施例中。核505的功能不是部署成物理处理器505的形式，而是把这些功能部署在诸如客户机102、服务器106或设备200的任何计算装置100的虚拟化环境400内。其他实施例中，核505的功能不是部署成设备或一个装置的形式，而是把功能部署成任何结构的多个设备。例如，一个设备可包括两个或多个核，另一个设备可包括两个或多个核。例如，多核系统可包括计算装置的集群、服务器群或计算装置网络。一些实施例中，核505的功能不是部署成核的形式，而是把功能部署在多个处理器上，例如部署多个单核处理器上。

一个实施例中，核505可以为任何形式或类型的处理器。一些实施例中，核的功能可以基本类似此处所述的任何处理器或中央处理单元。一些实施例中，核505可包括此处所述的任何处理器的任何部分。虽然图5A示出7个核，但是，设备200内可以有N个核，其中N是大于1的整数。一些实施例中，核505可以安装在公用设备200内，其他实施例中，核505可以安装在彼此通信连接的一个或多个设备200内。一些实施例中，核505包括图形处理软件，而其他实施例中，核505提供通用处理能力。核505可彼此物理靠近地安装和/或可彼此通信连接。可以用以物理方式和/或通信方式耦合到核的任何类型和形式的总线或子系统连接核，以向/从核发送数据或在核之间传输数据。

每个核505可包括和其他核通信的软件，一些实施例中，核管理器(未示出)可有助于每个核505之间的通信。一些实施例中，内核可提供核管理。核可以使用多种接口机制彼此接口或通信。一些实施例中，可以使用核到核的消息通信来在核之间通信，比如，第一核通过连接到核的总线或子系统向第二核发送消息或数据。一些实施例中，核可通过任何种类或形式的共享存储器接口通信。一个实施例中，所有核中可以存在一个或多个共享的存储器单元。一些实施例中，每个核可以具有和每个其他核共享的单独存储器单元。例如，第一核可具有与第二核的第一共享存储器，以及与第三核的第二共享存储器。一些实施例中，核可通过任何类型的编程或API来通信，例如经由内核的函数调用。一些实施例中，操作系统可识别并支持多核装置，并提供用于核间通信的接口和API。

流分布器550可以是任何应用、程序、库、脚本、任务、服务、进程或在任何类型或形式的硬件上执行的任何类型和形式的可执行指令。一些实施例中，流分布器550可以是用于执行此处所述任何操作和功能的任何电路设计或结构。一些实施例中，流分布器分布、转发、路由、控制和/或管理多个核505上的数据分布和/或运行在核上的分组引擎或VIP。一些实施例中，可将流分布器550称为接口主设备(interface master)。一个实施例中，流分布器550包括运行在设备200的核或处理器上的一组可执行指令。又一个实施例中，流分布器550包括在与设备200通信的计算机器上执行的一组可执行指令。一些实施例中，流分布器550包括在如固件的NIC上执行的一组可执行指令。其他实施例，流分布器550包括用于把数据分组分布在核或处理器上的软件和硬件的任何组合。一个实施例中，流分布器550在至少一个核505A-N上执行，而在其他实施例中，分配给每个核505A-N的单独的流分布器550在相关联的核505A-N上执行。流分布器可使用任何类型和形式的统计或概率算法或决策来平衡多个核上的流。可以把如NIC的设备硬件或内核设计或构造成支持NIC和/或核上的顺序操作。

系统545包括一个或多个流分布器550的实施例中，每个流分布器550可以和处理器505或分组引擎548关联。流分布器550可包括允许每个流分布器550和在系统545内执行的其他流分布器550通信的接口机制。一个实例中，一个或多个流分布器550可通过彼此通信确定如何平衡负载。该过程的操作可以基本和上述过程类似，即把投票提交给仲裁器，然后仲裁器决定哪个流分布器550应该接收负载。其他实施例中，第一流分布器550′可识别所关联的核上的负载并基于下列标准中的任一个确定是否把第一数据分组转发给所关联的核：所关联的核上的负载大于预定阈值；所关联的核上的负载小于预定阈值；所关联的核上的负载小于其他核上的负载；或者可以用于部分基于处理器上的负载量来确定将数据分组转发到何处的任何其他度量。

流分布器550可以根据如此处所述的分布、计算或负载平衡方法而把网络业务分布在核505上。一个实施例中，流分布器可基于功能并行机制分布方法550、数据并行机制负载分布方法540、基于流的数据并行机制分布方法520或这些分布方法的任意组合或用于把负载分布在多个处理器上的任何负载平衡方法来分布网络业务。因而，流分布器550可通过接收数据分组并根据正在运行的负载平衡或分布方案把数据分组分布在处理器上而用作负载分布器。一个实施例中，流分布器550可包括用于确定如何相应地分布分组、工作或负载的一个或多个操作、函数或逻辑。另一个实施例中，流分布器550可包括可识别与数据分组关联的源地址和目标地址并相应地分布分组的一个或多个子操作、函数或逻辑。

一些实施例中，流分布器550可包括接收侧扩展(RSS)网络驱动器模块560或把数据分组分布在一个或多个核505上的任何类型和形式的可执行指令。RSS模块560可以包括硬件和软件的任意组合。一些实施例中，RSS模块560和流分布器550协同工作以把数据分组分布在核505A-N或多处理器网络中的多个处理器上。一些实施例中，RSS模块560可在NIC 552中执行，其他实施例中，可在任何一个核505上执行。

一些实施例中，RSS模块560使用微软接收侧扩展(RSS)方法。一个实施例中，RSS是微软可扩展网络主动技术(Microsoft Scalable Networkinginitative technology)，其使得系统中的多个处理器上的接收处理是平衡的，同时保持数据的顺序传送。RSS可使用任何类型或形式的哈希校验方法来确定用于处理网络分组的核或处理器。

RSS模块560可应用任何类型或形式的哈希函数，如Toeplitz哈希函数。哈希函数可应用到哈希类型值或者任何值序列。哈希函数可以是任意安全级别的安全哈希或者是以其他方式加密。哈希函数可使用哈希关键字。关键字的大小取决于哈希函数。对于Toeplitz哈希，用于IPv6的哈希关键字大小为40字节，用于IPv4的哈希关键字大小为16字节。

可以基于一个或多个标准或设计目标设计或构造哈希函数。一些实施例中，可使用为不同的哈希输入和不同哈希类型提供均匀分布的哈希结果的哈希函数，所述不同哈希输入和不同哈希类型包括TCP/IPv4、TCP/IPv6、IVv4和IPv6头部。一些实施例中，可使用存在少量桶时(例如2个或4个)提供均匀分布的哈希结果的哈希函数。一些实施例中，可使用存在大量桶时(例如64个桶)提供随机分布的哈希结果的哈希函数。在一些实施例中，基于计算或资源使用级别来确定哈希函数。在一些实施例中，基于用硬件实现哈希的难易度来确定哈希函数。在一些实施例中，基于用远程恶意主机发送全部哈希到同一桶中的分组的难易度来确定哈希函数。

RSS可从任意类型和形式的输入来产生哈希，例如作为一系列值。该系列值可包括网络分组的任何部分，如网络分组的任何头部、域或载荷或其一部分。一些实施例中，可把哈希输入称为哈希类型，哈希输入可包括与网络分组或数据流关联的任何信息元组，例如下面的类型：包括至少两个IP地址和两个端口的四元组、包括任意四组值的四元组、六元组、二元组和或任何其他数值或值序列。以下是可由RSS使用的哈希类型示例：

-源TCP端口、源IPv4地址、目标TCP端口和目标IPv4地址的四元组；这是唯一需要支持的哈希类型。

-源TCP端口、源IPv6地址、目标TCP端口和目标IPv6地址的四元组；

-源IPv4地址和目标IPv4地址的二元组；

-源IPv6地址和目标IPv6地址的二元组；

-源IPv6地址和目标IPv6地址的二元组，包括对解析IPv6扩展头部的支持。

哈希结果或其任何部分可用于识别用于分布网络分组的核或实体，如分组引擎或VIP。一些实施例中，可向哈希结果应用一个或者多个哈希位或掩码。哈希位或掩码可以是任何位数或字节数。NIC可支持任意位，例如7位。网络堆栈可在初始化时设定使用的实际位数。位数介于1和7之间，包括端值。

可通过任意类型和形式的表用哈希结果来识别核或实体，例如通过桶表(bucket table)或间接表(indrection table)。一些实施例中，用哈希结果的位数来索引表。哈希掩码的范围可有效地限定间接表的大小。哈希结果的任何部分或哈希结果自身可用于索引间接表。表中的值可识别任何核或处理器，例如通过核或处理器标识符来识别。一些实施例中，表中标识多核系统的所有核。其他实施例中，表中标识多核系统的核的端口。间接表可包括任意多个桶，例如2到128个桶，可以用哈希掩码索引这些桶。每个桶可包括标识核或处理器的索引值范围。一些实施例中，流控制器和/或RSS模块可通过改变间接表来重新平衡网络负载。

一些实施例中，多核系统575不包括RSS驱动器或RSS模块560。一些这样的实施例中，软件操控模块(未示出)或系统内RSS模块的实施例可以和流分布器550共同操作或者作为流分布器550的一部分操作，以把分组引导到多核系统575中的核505。

一些实施例中，流分布器550在设备200的任何模块或程序中执行，或者在多核系统575中包括的任何一个核505和任一装置或组件上执行。一些实施例中，流分布器550′可在第一核505A上执行，而在其他实施例中，流分布器550″可在NIC 552上执行。其他实施例中，流分布器550′的示例可在多核系统575中包括的每个核505上执行。该实施例中，流分布器550′的每个实例可和流分布器550′的其他实例通信以在核505之间来回转发分组。存在这样的状况，其中，对请求分组的响应不是由同一核处理的，例如，第一核处理请求，而第二核处理响应。这些情况下，流分布器550′的实例可以拦截分组并把分组转发给期望的或正确的核505，例如，流分布器550′可把响应转发给第一核。流分布器550′的多个实例可以在任何多个核505或核505的任何组合上执行。

流分布器可以响应于任一个或多个规则或测量而操作。规则可标识接收网络分组、数据或数据流的核或分组处理引擎。规则可标识和网络分组有关的任何类型和形式的元组信息，例如源和目标IP地址以及源和目标端口的四元组。基于所接收的匹配规则所指定的元组的分组，流分布器可把分组转发给核或分组引擎。一些实施例中，通过共享存储器和/或核到核的消息通信把分组转发给核。

虽然图5B示出了在多核系统575中执行的流分布器550，但是，一些实施例中，流分布器550可执行在位于远离多核系统575的计算装置或设备上。这样的实施例中，流分布器550可以和多核系统575通信以接收数据分组并把分组分布在一个或多个核505上。一个实施例中，流分布器550接收以设备200为目的的数据分组，向所接收的数据分组应用分布方案并把数据分组分布给多核系统575的一个或多个核505。一个实施例中，流分布器550可以被包括在路由器或其他设备中，这样路由器可以通过改变与每个分组关联的元数据而以特定核505为目标，从而每个分组以多核系统575的子节点为目标。该实施例中，可用CISCO的vn-tag机制来改变或标记具有适当元数据的每个分组。

图5C示出包括一个或多个处理核505A-N的多核系统575的实施例。简言之，一个核505可被指定为控制核505A并可用作其他核505的控制平面570。其他核可以是次级核，其工作于数据平面，而控制核提供控制平面。核505A-N共享全局高速缓存580。控制核提供控制平面，多核系统中的其他核形成或提供数据平面。这些核对网络业务执行数据处理功能，而控制核提供对多核系统的初始化、配置和控制。

仍然参看图5C，具体而言，核505A-N以及控制核505A可以是此处所述的任何处理器。此外，核505A-N以和控制核505A可以是可在图5C所示系统中工作的任何处理器。另外，核505A-N可以是此处所述的任何核或核组。控制核可以是和其他核不同类型的核或处理器。一些实施例中，控制核可操作不同的分组引擎或者具有与其他核的分组引擎配置不同的分组引擎。

每个核的存储器的任何部分可以被分配给或者用作核共享的全局高速缓存。简而言之，每个核的每个存储器的预定百分比或预定量可用作全局高速缓存。例如，每个核的每个存储器的50％可用作或分配给共享全局高速缓存。也就是说，所示实施例中，除了控制平面核或核1以外的每个核的2GB可用于形成28GB的共享全局高速缓存。例如通过配置服务而配置控制平面可确定用于共享全局高速缓存的存储量。一些实施例中，每个核可提供不同的存储量供全局高速缓存使用。其他实施例中，任一核可以不提供任何存储器或不使用全局高速缓存。一些实施例中，每个核可具有未分配给全局共享存储器的本地高速缓存。每个核可把网络业务的任意部分存储在全局共享高速缓存中。每个核可检查高速缓存来查找请求或响应中所使用的任何内容。每个核可从全局共享高速缓存获得内容在数据流、请求或响应中使用。

全局高速缓存580可以是任意类型或形式的存储器或存储元件，例如此处所述的任何存储器或存储元件。一些实施例中，核505可访问预定的存储量(例如32GB或者和系统575相当的任何其他存储量)。全局高速缓存580可以从预定的存储量分配而来，同时，其余的可用存储器可在核505之间分配。其它实施例中，每个核505可具有预定的存储量。全局高速缓存580可包括分配给每个核505的存储量。该存储量的单位可以为字节，或者可以用分配给每个核505的存储器百分比来测量。因而，全局高速缓存580可包括由和每个核505关联的存储器提供的1GB存储器，或者可包括和每个核505关联的存储器的20％或一半。一些实施例，只有一部分核505提供存储器给全局高速缓存580，而在其他实施例，全局高速缓存580可包括未分配给核505的存储器。

每个核505可使用全局高速缓存580来存储网络业务或高速缓存数据。一些实施例中，核的分组引擎使用全局高速缓存来缓存并使用由多个分组引擎所存储的数据。例如，图2A的高速缓存管理器和图2B的高速缓存功能可使用全局高速缓存来共享数据进行加速。例如，每个分组引擎可在全局高速缓存中存储例如HTML数据的响应。操作于核上的任何高速缓存管理器可访问全局高速缓存来把高速缓存响应提供给客户请求。

一些实施例中，核505可使用全局高速缓存580来存储端口分配表，其可用于部分基于端口确定数据流。其他实施例中，核505可使用全局高速缓存580来存储地址查询表或任何其他表或列表，流分布器可使用这些表来确定把到来的数据分组和发出的数据分组导向何处。一些实施例中，核505可以读写高速缓存580，而其他实施例中，核505仅从高速缓存读或者仅向高速缓存写。核可使用全局高速缓存来执行核到核通信。

可以把全局高速缓存580划分成各个存储器部分，其中每个部分可专用于特定核505。一个实施例中，控制核505A可接收大量的可用高速缓存，而其他核505可接收可变的全局高速缓存580的量或者对全局高速缓存580的访问。

一些实施例中，系统575可包括控制核505A。虽然图5C示出核1 505A为控制核，但是控制核可以是设备200或多核系统中的任何一个核。此外，虽然仅描述了单个控制核，但是，系统575可包括一个或多个控制核，每个控制核对系统有某种程度的控制。一些实施例中，一个或多个控制核可以各自控制系统575的特定方面。例如，一个核可控制决定使用哪种分布方案，而另一个核可确定全局高速缓存580的大小。

多核系统的控制平面可以是把一个核指定并配置成专用的管理核或者作为主核。控制平面核可对多核系统中的多个核的操作和功能提供控制、管理和协调。控制平面核可对多核系统中的多个核之间的系统的存储器的分配和使用提供控制、管理和协调，这包括初始化和配置系统的存储器。一些实施例中，控制平面包括流分布器，用于基于数据流控制数据流到核的分配以及网络分组到核的分配。一些实施例中，控制平面核运行分组引擎，其他实施例中，控制平面核专用于系统的其他核的控制和管理。

控制核505A可对其他核505进行某种级别的控制，例如，确定把多少存储器分配给每个核505，或者确定应该指派哪个核来处理特定功能或硬件/软件实体。一些实施例中，控制核505A可以对控制平面570中的这些核505进行控制。因而，控制平面570之外可存在不受控制核505A控制的处理器。确定控制平面570的边界可包括由控制核505A或系统575中执行的代理维护由控制核505A控制的核的列表。控制核505A可控制以下的任一个：核初始化、确定核何时不可用、一个核出故障时把负载重新分配给其他核505、决定实现哪个分布方案、决定哪个核应该接收网络业务、决定应该把多少高速缓存分配给每个核、确定是否把特定功能或元件分配给特定核、确定是否允许核彼此通信、确定全局高速缓存580的大小以及对系统575内的核的功能、配置或操作的任何其他确定。

F、用于对异步消息通信进行连接管理的系统和方法

图6是管理用于异步消息通信的连接的系统630的一个实施例。一个或多个客户机102A-102N(下文统称为客户机102)通过网络104和中间设备632通信，中间设备632通过网络104与一个或多个服务器106A-106N(下文统称为服务器106)通信。一些实施例中，中间设备632执行负载平衡虚拟服务器(Vserver)636、推送虚拟服务器(Vserver)635和连接标记器638。一些实施例中，中间设备632上可存储连接表640。

继续参考图6，更详细地，系统630可包括一个或多个客户机102，其中客户机102可以是任何计算机、移动设备、计算装置或计算机器。一些实施例中，客户机102可以是此处所述的任何客户机。虽然图6描述了多个客户机102，但是，一些实施例中，系统630可包括单个客户机102。客户机102可以通过任何类型的网络104进行通信。一些实施例中，客户机102可通过此处描述的任何类型的网络104通信。

系统630还可包括一个或多个服务器106，其中服务器106可以是任何计算机、服务器、计算装置或计算机器。一些实施例中，服务器106可以是此处所述的任何服务器106。虽然图6描述了多个服务器106，但是，一些实施例中，系统630可包括单个服务器106。一些实施例中，服务器106可通过任何类型的网络104通信，而其他实施例中，服务器106可通过此处所述的任何类型的网络104通信。服务器106可通过客户机102与设备632通信的同一网络104进行通信，而其他实施例中，服务器106和客户机102通过不同网络104进行通信。仍在其他实施例中，客户机102用于和设备632通信的网络104是服务器106用于和设备632通信的网络104的子网。其他实施例中，服务器106用于和设备632通信的网络可以是客户机102用于和设备632通信的网络104的子网。

一些实施例中，至少一个服务器106是web服务器106B。web服务器106B可以是单个的web服务器106B，或者，其他实施例中，可以是包括多于一个web服务器106B的服务器群。一些实施例中，web服务器106B可以是应用服务器或是包括一个或多个应用服务器的服务器群。其他实施例，web服务器106B可包括如此处所述的应用传送系统的应用传送系统190的任意部分或实施例。一些实施例中，web服务器106B可以包括任何类型和形式的商用现货供应的、专有的、定制的或者开源软件或任何用于提供网站、服务网页或提供web服务的任何可执行指令集。

一些实施例中，至少一个服务器106是通知服务器106A。一些实施例中，通知服务器106A可以是单个的通知服务器106A，或者，其他实施例中，可以是包括不只一个通知服务器106A的服务器群。一个实施例中，通知服务器106A可执行产生任何类型和形式的通知的应用、程序、库、服务、进程、任务或线程。一些实施例中，通知服务器确定是否对数据进行了修改，如包括下面数据的数据：网页、对象、表项目、存储器地址的预定范围和动态产生的对象和数据库。其他实施例中，通知服务器确定客户机102是否有过期数据、改变了的数据或者应该被更新的数据。通知服务器可以通过任何类型和形式的连接(例如，传输层连接或应用层会话)把有关数据状态、更新或变化的任何类型和形式的通知传送给一个或多个客户机。通知服务器可以使用任何类型和形式的协议来传输通知。一些实施例中，通知服务器106A可以包括在web服务器106B中或者是web服务器106B的一部分，反之亦然。又一个实施例中，通知服务器和/或web服务器可以被包括在群38中或者应用传送系统190中。

一些实施例中，通知服务器可以使用任何类型和形式的基于HTTP的服务器推送机制、协议或模型。一些实施例中，通知服务器使用Comet流式响应、XMPP(可扩展消息通信和表示协议)、通过同步HTTP的双向流(BOSH)和BOSH XMPP实现的任何一个或多个具体变型来操作。术语Comet指web应用模型，其中，长时间保持的HTTP请求允许web服务器把数据推送给浏览器。BOSH是传输协议，其使用多个同步HTTP请求/响应对来模拟两个实体(如客户机和服务器)的之间的双向流，而无需使用轮询(polling)或异步块传送(chunking)。使用通过BOSH的XMPP的实现方式使用BOSH来传输XMPP节(stanza)。通知服务器可支持使用一种或多个非HTTP协议的服务器推送机制和实现，例如IMAP(因特网消息访问协议)。

在客户机102不通过中间设备632或客户机代理与web服务器106A交互时，客户机102请求到服务器106的连接并建立连接，如TCP/IP连接。客户机102和服务器106可以交换一些请求/响应，在交互结束时，服务器106可通过认证cookie或其他之前建立的cookie来识别客户机102。然后，服务器106可保持连接为打开的，并在有数据可写入连接时写入连接。

设备632可以是任何中间机器、服务器、设备、装置、代理服务器106、代理客户机102、代理设备或其他计算机器。一些实施例中，中间设备632是任何设备632，其他实施例中，中间设备632是此处所述的任何设备200。仍在其他实施例中，中间设备可以是此处所述的任何计算机器100。设备632可通过一个或多个网络104和远程客户机102、服务器106、设备、移动装置或其他计算机器通信。一些实施例中，设备632可以通过第一网络和一组客户机102通信，并通过第二网络和一组服务器106通信。这些实施例中，第一网络和第二网络可以是两种不同网络。例如，第一网络可以是公网，而第二网络可以是专用网络。

负载平衡vserver 636在中间设备632上执行。一些实施例中，负载平衡vserver 636可以是此处所述的vServer 275的任何实施例。其他实施例中，负载平衡vserver 636可以是可对网络业务或者施加在一个或多个服务器106或服务器群38上的负载量进行负载平衡的任何虚拟机、客户机、代理或程序。一些实施例中，负载平衡vserver 636可与由设备632存储或以其他方式执行的任何下列元件进行通信：推送vserver 635、连接标记器638和连接表640。

一些实施例中，负载平衡vserver 636可以用于通过跟踪连接闲置的时间量或通过连接传输异步消息后的时间量来使客户机连接到期。一些实施例中，系统630可包括客户机侧负载平衡vserver 636和服务器侧负载平衡636′，其中客户机侧负载平衡vserver 636管理客户机侧连接，服务器侧负载平衡636′管理服务器侧连接。一个实施例中，可以禁用与客户机102相接口并管理客户机连接的客户机侧负载平衡vserver 636，从而破坏、到期或者除去所有客户机连接就像对待与这些连接相关联的任何连接标记一样。服务器106试图通过一个到期的客户机连接发送消息时，设备632会返回错误消息给请求的服务器106。一些实施例中，中间设备632向服务器106发送消息指示连接到期，而在其他实施例中，服务器106在试图通过连接推送消息时接到错误消息后就可感知到该连接已经到期了。

一些实施例中，负载平衡vserver 636可以与客户机102相接口，该客户机102请求连接到和中间设备632通信的服务器106。一个实施例中，负载平衡vserver 636可通过首先建立和客户机102的连接而有助于在客户机102和服务器106之间建立的初始通信连接。建立和客户机102的连接后，负载平衡vserver 636可以选择服务器106，建立和服务器106的连接并且把客户机连接链接到服务器连接。一些实施例中，vServer从设备200维护的连接池中获得服务器连接。因而，一些实施例中，负载平衡vserver 636代理客户机102和服务器106之间的通信连接的建立。

一个实施例中，中间设备632可以执行推送vserver 635，推送vserver635可以从服务器106接收发布(post)请求、发送异步消息给客户机102并执行消息通信协议。一些实施例中，推送vserver 635可以是设计并构造用于执行此处所述操作的任何vServer 275或任何可执行指令。一个实施例中，推送vserver 635可以执行图8A所示的消息通信协议。其他实施例中，推送vserver 635可以执行用于从服务器106向客户机102传输异步消息的任何消息通信协议。一些实施例中，推送vserver 635向通知服务器106A公开消息通信协议。其他实施例中，推送vserver 635向与中间设备632通信的一个或多个服务器106公开消息通信协议。

向服务器106公开消息通信协议可包括从服务器接收带外消息并把这些消息转发给适当的客户机102。一个实施例中，带外消息是在先前建立的服务器106和客户机102之间的连接之外传输的消息。例如，客户机A和服务器A建立连接时，在客户机A和服务器A之间形成连接。一旦服务器A和客户机A之间的初始连接到期，服务器A传输给客户机A的任何消息，或通过和初始连接不同的第二连接从服务器A向客户机A传输的任何消息是带外消息，这是由于这些消息通过与客户机A和服务器A之间的初始连接不同的连接传输。

一些实施例中，中间设备632执行连接标记器638。连接标记器、连接标记组件或连接标记客户机638可包括软件、硬件或软件和硬件的任意组合。连接标记器638可包括应用、程序、服务、进程、任务、线程或任何可执行指令集。连接标记器638可包括用于提供、实现或执行任何类型和形式的连接标记协议的任何函数、逻辑或操作。一些实施例中，连接标记器638执行或以其方式完成连接标记协议，如用于标记网络连接的任何协议。一些实施例中，连接标记协议可以是此处所述的任何连接标记协议。一些实施例中，连接标记器638可以被包括在推送vserver 635中。其他实施例中，连接标记器638可以和连接表640通信，从而连接标记器638把句柄及其相关的应用上下文保存在连接表640中。一个实施例中，连接标记器638可通过把句柄插入头部而修改请求分组的头部。其他实施例中，连接标记器638可响应于推送vserver 635发出的请求而从连接表640中检索连接数据。

一些实施例中，作为连接标记协议的一部分，中间设备632把头部插入客户机请求并把修改后的请求转发给服务器106。把句柄插入客户机请求的头部可以由中间设备632、连接标记器638或者推送vserver 635来执行。其他实施例中，由中间设备632把标记或句柄插入头部，以提示服务器106有标记连接的选项而不是让连接继续存在。一些实施例中，这个提示可以包括把如“X-NS-Push-Label：，”的标记插入到客户机请求的HTTP头部。修改请求的头部后，中间设备632接着把修改后的请求发送给服务器106，或者后端web服务器106B。一些实施例中，标记可指示或以其他方式命令服务器106执行连接标记协议，并进一步推迟对客户机请求的响应。标记可包括句柄或者其他连接标识符。

一些实施例中，连接表640是中间设备632上的存储仓库，其存储连接信息。连接表640可以是如下的任一个：表格、列表、阵列、配置文件、文本文件、多个文本或配置文件或者可存储有关连接的信息的任何其他数据结构。一些实施例中，连接信息可包括句柄以及分配给该句柄或与该句柄关联的应用上下文。句柄可以是代表应用上下文的唯一标识符，或者是随机选择的序列号。一些实施例中，应用上下文可包括下列任一信息：客户机102的名称、客户机102的IP地址、用户名、用户验证信息、服务器106的名称、服务器106的IP地址、客户机102上寄载的用户会话的IP地址或主机名、服务器106上寄载的用户会话的IP地址或主机名、服务器106或客户机102上寄载的应用的IP地址或主机名以及代表客户机102和服务器106之间的连接的任何其他信息。

一些实施例中，句柄可以是中间设备的句柄，有时称为NetScaler句柄或NS句柄。任何服务器可以把句柄看作是不透明的。一些实施例中，句柄对连接四元组进行编码。其他实施例中，句柄把另外的熵(entropy)加入经编码的元组，以使其更难以猜到，从而更安全。仍在其他实施例中，句柄可以是设备200产生的唯一标识符，或者是中间设备632产生的标识符。一些实施例中，句柄可以是中间设备632、与中间设备632通信的客户机、与中间设备632通信服务器106或与中间设备632通信的任何其他设备200或计算机100上执行的随机数发生器产生的随机数。一些实施例中，句柄可包括识别下列任一信息的嵌入信息：客户机102、服务器106、中间设备上的端口、中间设备、配置信息或者有关客户机102、网络104、服务器106或中间设备632的信息。其它实施例中，句柄可对有关客户机102的用户的信息进行编码。该经编码的信息可包括客户验证信息、设备验证信息或者有关客户机102的用户、客户机102、服务器106、网络104或中间设备632的任何其他类型的敏感信息。仍在其他实施例中，句柄可包括端口号标识符，其标识中间设备632上的端口，客户机102使用该端口与中间设备632通信。

可使用任何类型和形式的拓扑来以客户机代理和/或设备的形式部署中间设备。一些实施例中，可在同一服务器群前面使用多个设备，来扩展连接处理能力。一些实施例中，用于处理来自1b vServer的请求的web服务器组不一定与把更新推送给客户机的通知服务器组相同。

使用此处所述的中间设备632的实施例，中间设备632可以支持、扩展并处理成千上万的连接。中间设备632的具体特征可取决于寄载中间设备的装置的操作特征、装置的配置和/或多个中间设备的部署。例如，设备200可作为中间设备632，这样，设备专用做中间设备632。其他实施例中，设备200可作为中间设备632，这样，设备200可执行除了作为中间设备632以外的其他任务。对于使用多个设备或中间设备进行扩展，可以使用第一双层设备配置技术，其中，第一层设备可配置成允许到第二层设备的无会话连接哈希负载平衡，并把第二层设备配置为用于执行推送处理。该实施例中，中间设备632可包括不只一个设备200，这样，第一组设备用于对在服务器106和第一组设备之间建立的无会话连接进行负载平衡，第二组设备用于对在客户机102和第二组设备之间建立的基于会话的连接进行负载平衡。

一些实施例中，另一个第二层设备200可配置成和第一组设备和第二组设备相接口，以执行消息推送协议，来把第一组设备从服务器106接收到的消息推送给第二组设备，第二组设备要把消息推送给客户机102。其他实施例可包括上述配置的任何变型，例如：第一组设备可包括一个或多个设备；第二组设备可包括一个或多个设备；执行消息推送协议的第二层设备可以和第一组设备或第二组设备结合。

因而，一些实施例中，中间设备可包括不只一个设备200或计算装置100、不只一组设备200或计算装置100或不只一层设备200或计算装置100。在中间设备包括不只一个设备200或装置100的实施例中，中间设备632可使用协议来分布连接。一些实施例中，该协议可以是可由路由器、其他设备200或装置100用来把连接分布在中间设备632中包括的多个设备200或装置100上的路由健康注入(Route Health Injection)、ECMP(等值多路径)协议。一些实施例中，一个或多个全局负载平衡vServer可以在DNS请求时分布负载。

一些实施例中，多个设备装置执行推送处理时，服务器可能需要把通知(推送消息)发送给服务器从其上第一次获知连接标记的同一设备装置。作为标记协议的一部分，设备200可插入相关推送vServer的侦听端点IP和端口信息，使得该任务对通知服务器更简单。这允许同一后端服务器参与不同设备上配置的多个面向客户机的vServer。其他实施例中，可以在设备之间共享所标记的连接的连接标记信息，或者，一个设备可以向另一个设备查询该信息。

图7所示的是可以为设备632管理的每个连接以及设备632上执行的vServer保持的推送状态机的实施例。一些实施例中，中间设备632可通过负载平衡vServer 636、推送vServer 635和连接标记器638中的任何一个来为每个连接或连接组保持所述状态机的实施例。一个实施例中，中间设备632等待来自客户机102的请求(状态710)，并且，轮询请求(转换734)，或者，在接收到请求时，把请求发送给服务器106(转换724)。中间设备把请求发送给服务器106后(转换724)，中间设备然后可等待服务器响应(状态715)。一些实施例中，服务器106可以推迟响应(转换726)并标记连接，而其他实施例中，服务器106可以正常对服务器请求做出响应(转换722)。服务器106可在等待消息(状态720)时推迟响应(转换726)。因而，中间设备等待消息(状态720)，直到中间设备接收到被推送的消息(转换728)，或者直到消息传输结束(转换736)。一些实施例中，中间设备632可通过把预定块加入到响应流(转换730)中而对在中间设备把组块的异步消息发送给客户机102时出现的闲置连接做出响应，从而连接保持打开，中间设备632回去等待异步消息(状态720)。其他实施例中，中间设备632可对中间设备632在通过产生预定的“保持有效”响应(转换732)而接收响应时出现的闲置连接做出响应，从而连接关闭，中间设备632回去等待客户机请求(状态710)。

进一步参考图7，具体而言，一个实施例中，图7所示的状态机可以管理或支配连接的任何或所有动作。状态机可包括用于模仿、管理或提供此处所述任意功能的状态、条件、转换和动作的任何组合。一些实施例中，推送vServer 635可使用状态机来监控并维护客户机102和服务器106之间的逻辑连接的状态。一些实施例中，逻辑连接可包括客户机102和中间设备632之间的连接以及中间设备632和服务器106之间的连接。其他实施例中，负载平衡vServer 636可使用状态机来监控并维护客户机102和服务器106之间的连接。仍在其他实施例中，一个或多个负载平衡vServer 636和一个或多个推送服务器635可被用来监控并维护客户机102和服务器106之间的连接。

一些实施例中，监控并维护连接可包括监控连接以确定连接上是否发送了数据。一些实施例中，预定时间段内没有在连接上发送数据时连接可变成闲置的。监控并维护连接的其他方面可包括在连接闲置预定时间段时保持连接有效。例如，中间设备632上的vServer或者其他应用确定在预定时间段内第一连接上没有传输数据时，vServer可以中止连接或者保持连接有效。一些实施例中，可以基于策略、规则或者状态机中包括的命令或者消息、客户机、服务器或其他vServer指定的命令而确定vServer所采取动作的过程。可以由管理员、客户机、用户、服务器配置预定时间段，或者基于环境630的特征动态配置预定时间段，环境特征例如为平均等待时间、可用带宽、客户机数目、服务器数目或者其他，如启发式方法。

状态机可包括初始状态，此时，中间设备632等待客户机102发送给服务器106的请求(状态710)。在该状态，中间设备632和客户机102通过网络104连接。该连接可包括在中间设备632和负载平衡vserver 636之间建立的连接，该负载平衡vserver636面向客户机侧网络104。一些实施例中，负载平衡vserver 636面向客户机侧网络104，这样，客户机侧负载平衡vserver 636建立并管理在客户机102和中间设备632之间建立的连接。一些实施例中，中间设备632可保持在该初始状态(状态710)，直到中间设备632接收到来自客户机102的请求。

一个实施例中，中间设备632可保持在初始状态(状态710)，直到轮询请求被发出(转换734)。发出轮询请求后，中间设备632可从等待客户机请求的初始状态(状态710)转换到中间设备632等待来自服务器的消息的状态(状态720)。

一些实施例中，中间设备632接收到来自客户机102的请求时，中间设备可以把句柄插入到请求的头部。一些实施例中，连接标记器638可以插入句柄，而其他实施例中，负载平衡vserver 636可以把句柄插入请求的头部。在把句柄插入客户机请求的头部之前，要确定句柄是什么。一些实施例中，可以由连接标记器638或能够产生句柄的任何其他应用、服务或进程来进行该确定。一个实施例中，把句柄插入到客户机请求的头部中可以是连接标记协议的一部分，例如此处所述的任何连接标记协议的一部分。

把句柄插入客户机请求的头部后，中间设备632可以把客户机请求发送给服务器106(转换724)。一些实施例中，服务器106的地址或位置可以被包括在请求的头部中。其他实施例中，中间设备632或在中间设备632上执行的vserver可以选择目标服务器106并把修改后的请求发送给该服务器106。

服务器106接收到请求后，中间设备632从等待客户机请求的初始状态(状态710)转换到等待来自服务器106的响应的状态(状态715)。在该状态，服务器106已接收到客户机请求。请求可能已被转发给web服务器106B，设备或中间设备632等待服务器做出响应。

一些实施例中，中间设备632接收到服务器106推迟了对客户机请求的响应的通知(转换726)时，中间设备632可以从该状态(状态715)转换到等待服务器推送异步消息的状态(状态720)。服务器106推迟对客户机请求做出响应时，服务器106可以标记连接，之后，一些实施例中，中间设备632中断开客户机102和服务器106的链接。一些实施例中，从等待服务器响应的状态(状态715)转换到等待消息(状态720)可包括执行连接标记协议。其他实施例中，该转换可包括执行消息通信协议。

其他实施例中，中间设备632接收到服务器106的响应(转换722)时，中间设备632可以从等待服务器106做出响应的状态(状态715)转换到初始状态(状态710)。服务器106对客户机请求发出正常响应(转换722)时，中间设备进入等待客户机请求的初始状态(状态710)。

中间设备632等待服务器推送消息的状态(状态720)可包括中间设备632等待服务器106发出把消息发布给客户机102的请求。在该状态，中间设备632等待如通知服务器106A的一个或多个服务器106把异步消息推送给客户机102。一些实施例中，发布请求包括其头部包含句柄的被推送的异步消息。许多实施例中，该句柄是分配给服务器106和客户机102之间的先前连接的标记。一些实施例中，中间设备632可以把消息推送给客户机102(转换728)，完成该动作后，中间设备632返回到中间设备632等待来自服务器106的消息的状态。

一些实施例中，中间设备632继续等待来自服务器106的消息(状态720)，直到中间设备632接收到指示传输结束的消息(转换734)。其他实施例中，中间设备632可以接收到来自服务器106的传输结束的通知，或者说明服务器106已完成传输的一些其他消息、标记或者指示器。服务器106完成发送一部分数据给客户机102时可出现传输结束，或者一旦服务器106不再有要推送给客户机102的消息就结束传输。接收到来自服务器106的传输已结束的通知(转换734)后，中间设备632可以改变状态，从中间设备632等待来自服务器106的消息的状态转换到中间设备632等待客户机请求的初始状态(状态710)。

一些实施例中，中间设备632使用此处所述的推送功能执行端对端保持有效(keep-alive)。因而，中间设备632可通过发送端对端保持有效消息来跟踪连接是否仍有效。这些保持有效的消息可以在连接闲置太久后由中间设备自动产生。如果中间设备正在进行组块响应，并且保持有效定时器到期，那么中间设备可选地把预定义的块加入到响应流中(转换730)。可以由管理员定义预定义块，或者由中间设备632或者一些其他配置方法动态定义预定义块。加入预定义块后，中间设备可保持在同一状态，即等待来自服务器106的消息的状态(状态720)。如果中间设备632正开始响应(例如，还没有写出响应的任何字节)，可选地，中间设备632可产生预定义的保持有效HTTP响应并/或关闭事务。可以通过任何上述配置方法定义预定义保持有效响应。产生保持有效响应(转换732)后，中间设备632可以从等待来自服务器106的消息的状态(状态720)转换到等待客户机请求的初始状态(状态710)。

图8A示出连接标记协议的实施例。一些实施例中，连接标记协议可以是客户机102和服务器106之间的握手协议，服务器106使用该协议来标记客户机102和服务器106之间的连接。一些实施例中，该协议可以体现为过程800，其中，如此处所述的任何中间设备632的中间设备632拦截客户机请求(步骤802)，并把句柄或标记注入到客户机请求的头部(步骤804)。然后，中间设备632把经修改的客户机请求发送给后端服务器106(步骤806)。接收到经修改的客户机请求后，服务器106产生对该客户机请求的响应(步骤808)并确定是在产生响应后基本上立即发送响应还是把发送响应推迟到稍后的时间点(步骤810)。服务器106推迟发送响应时，服务器106接着标记服务器106和客户机102之间的连接(步骤812)。

继续参考图8A，具体而言，一个实施例中，中间设备632可以拦截客户机请求(步骤802)。一些实施例中，客户机请求可以是任何客户机装置或者此处所述的任何客户机102产生的。客户机请求可以是和服务器106建立连接的请求。一些实施例中，客户机请求可以是访问应用、服务或进程的请求，其中该应用、服务或进程在服务器106上执行。一些实施例中，应用可用于建立用户会话，客户机102和服务器106可以在该用户会话中通信。在中间设备632上执行的负载平衡vserver 636可以拦截客户机请求，而在其他实施例中，在中间设备632上执行的另一个应用可拦截客户机请求。

拦截到客户机请求后，中间设备632可把句柄注入到客户机请求的头部中(步骤804)。一些实施例中，句柄是分配给发出请求的客户机102和服务器106之间的连接的标记。一些实施例中，中间设备632拦截客户机请求时，中间设备632还从与中间设备632通信的一个或多个服务器106中选择目标服务器106。尽管在一些实施例中，客户机请求识别目标服务器106，但在其他实施例中，中间设备632选择目标服务器106。一些实施例中，句柄可以是此处描述的任何句柄。其他实施例中，句柄可以是ns-句柄，或者NetScaler句柄，并且可用于把应用、用户会话或其他上下文与客户机102和服务器106之间的连接相关联。一些实施例中，中间设备632或者中间设备632上执行的任何应用可以把句柄或标记插入到客户机请求中包括的HTTP头部中。插入句柄可修改客户机请求，以形成经修改的客户机请求，其标识特定应用、用户会话或应用上下文。服务器可把ns-句柄看作是不透明的，一些实施例中，ns-句柄可以是客户机102和服务器106之间的连接的四元组，其中，该4元组可包括如下信息的任何一个：客户机IP地址、服务器IP地址、客户机端口、服务器端口；代表客户机102和服务器106之间连接的IP地址；或者是代表客户机102和服务器106之间连接的端口。一些实施例中，句柄把另外的信息熵加入经编码的元组，以使其更难以猜到，从而更安全。多设备或多中间设备的情况下，中间设备632也可为推送vserver 635提供侦听端点或端口。该端口可以被包括在句柄中，被反映在句柄的配置中或被包括在四元组中。尽管在一些实施例中，中间设备632修改客户机请求的头部，而其他实施例中，中间设备632可以随同请求发送另外的分组，该分组识别句柄。其他实施例包括修改客户机请求另一方面(如载荷)的中间设备632。

一些实施例中，中间设备632修改客户机请求后把经修改的客户机请求发送给服务器106(步骤806)。一些实施例中，负载平衡vserver 636可传输客户机请求。

响应于接收到客户机请求，服务器106可产生响应(步骤808)。一些实施例中，该响应可以不包括载荷而是仅包括头部。服务器106产生的空HTTP响应可包括反映客户机请求中所包含的句柄的头部。在服务器给客户机请求的响应中包括或反映该句柄标记客户机102和服务器106之间的连接，这是由于中间设备632可以从头部中提取句柄并用句柄确定将服务器响应传输到何处。一些实施例中，服务器106基本是在接收到客户机请求后立即对客户机请求做出响应，这样，典型的响应时间在客户机发出请求和服务器做出响应之间到期。

一些实施例中，服务器106推迟对客户机请求做出响应(步骤810)。选择推迟对客户机请求做出响应可以是客户机请求的头部中包括的配置设置(即句柄)的结果。其他实施例中，由于服务器106确定没有消息要推送给客户机102而推迟对客户机请求做出响应。因而，服务器106不是对客户机请求做出响应，而是通过保存客户机请求头部中包括的句柄或标记并将其与客户机102关联而标记客户机102和服务器106之间的连接。服务器106可以把句柄保存在服务器106上的连接表(未示出)中，或者保存在服务器106上的另一个存储仓库中，这样服务器106以后产生消息时，服务器106可以把所保存的句柄包含在消息的头部中。一些实施例中，服务器106可以把句柄或所产生的响应保存在存储仓库中，连接到中间设备632的每个服务器106可以访问该存储仓库。服务器106希望把消息推送给特定客户机102时，服务器106可以从存储中检索句柄、把句柄插入在消息头部中并把消息推送给中间设备632。尽管在一些实施例中，句柄可被包括在消息头部中，而其他实施例中，句柄可被包括在消息体中、伴随消息的发布请求体中或者伴随消息的发布请求的头部中。

存储句柄或者以其他方式关联头部中保存的句柄和/或标记信息可以形成用句柄标记客户机102和服务器106之间的连接(步骤812)。一些实施例中，可把客户机102和服务器106之间的连接称为第一连接，而把客户机12和中间设备632之间的连接称为第二连接。标记连接可包括从句柄中提取信息并把该信息连同有关客户机102的信息保存在仓库中，有关客户机102的信息诸如客户机IP地址、客户机端口、用户名、用户会话ID、用户IP地址或者识别客户机102和/或客户机102的用户的其他信息。其他实施例中，标记连接可包括把所产生的服务器响应连同上述任一客户机/用户识别信息保存在存储仓库中。

一些实施例中，中间设备632或设备支持主动标记到期通知。例如，如果设备使客户机连接到期或者客户机102关闭了客户机连接，那么，设备632不会发送任何标记到期消息给服务器。一些实施例中，相反，与标记关联的对客户机-服务器连接的下一更新会使中间设备632产生指示连接不再存在的错误消息。可响应于推送给中间设备632的消息而把该错误消息发送给服务器106。

一些实施例中，后端服务器可以具有在设备中挂起的长轮询请求。这些实施例中，由于中断客户机102和中间设备632之间的客户机连接或者通过关闭或者中断中间设备(例如zombie清除)而使客户机连接断开时，设备可发送响应给服务器106，该响应指示与消息中的标记关联的连接不再存在。服务器106可发送给到期或中断的客户机的另一个长轮询并等待客户机响应。一些实施例中，服务器106可以长时间等待客户机响应。一些实施例中，可以配置或指定一个或多个服务器来执行长轮询以验证客户机102关闭或者等待客户机102重连接。

图8B示出消息通信协议的实施例。消息通信协议或消息推送协议可由后端服务器106用于推送异步消息给连接到中间设备632的客户机102。一些实施例中，消息通讯协议可以实现为在服务器106、中间设备632和客户机102之间执行的过程或方法850。中间设备632可从服务器106接收发布请求(步骤852)，其中发布请求可以伴随或包括目的地是客户机102的消息。中间设备632或者中间设备632上执行的应用可以从发布请求获得句柄(步骤854)并把消息传输给句柄所识别的客户机102(步骤856)。然后，中间设备632可传输消息或响应给服务器106，该消息或响应指示已把消息成功地发送给客户机102(步骤858)。

继续参考图8B，具体而言，一个实施例中，中间设备632上执行的推送vserver 635可以执行消息通信协议。其他实施例中，可以由应用、消息推送器或者中间设备632上执行的其他对象或客户机执行消息通信协议。仍在其他实施例中，中间设备632可执行消息通信协议。

一些实施例中，推送vserver 635可以接收服务器106发出的发布请求，服务器106例如为后端服务器106(步骤852)。该发布请求可以识别句柄或连接标记以及服务器106要在所识别的连接上推送的消息。连接标记可包括识别客户机-服务器连接的句柄或者代表之前在连接到中间设备632的服务器106和连接到中间设备的客户机102之间建立的连接的标识符。该连接标记可识别任一如下信息：客户机IP地址、客户机端口、服务器IP地址、服务器端口、用户IP地址、应用IP地址、用户会话IP地址或者可由中间设备用来把消息发送给客户机102的任意其他标识符。

一个实施例中，推送vserver 635可从发布请求中提取句柄(步骤854)以确定发布请求所识别的客户机-服务器连接。一些实施例中，发布请求识别客户机102和中间设备632之间的第二连接。一些实施例中，该第二连接可以是先前在客户机102和后端服务器106之间建立的第一连接的子连接。推送vserver 635可以从发布请求的任何部分提取句柄或标记，例如：发布请求体、发布请求的头部、发布请求中包括的消息的头部、伴随发布请求的消息的头部、发布请求中包括的消息体或者伴随发布请求的消息体。一些实施例中，从发布请求中提取句柄或连接标记可包括识别句柄从而识别客户机102和中间设备632之间的连接或第二连接。

vserver或者中间设备632识别句柄后，中间设备632或推送vserver635可把消息转发给句柄所识别的客户机102(步骤856)。一些实施例中，中间设备可接着发送响应给服务器106，指示已成功发送消息(步骤858)。一些实施例中，中间设备632可能不向服务器106发送指示已发送消息的消息。

一些实施例中，图8B所示的推送协议或消息协议可以是REST(表述性状态转移)接口，该接口由推送vserver 635提供。一些实施例中，服务器106可以连接到推送vserver 635以发送发布请求给中间设备632。发布请求体可包括服务器106要发送给由发布请求中包括的标记所识别的客户机102的载荷。一些实施例中，发布请求可识别句柄，该句柄进一步识别目标客户机102以及该消息是否为响应的最后消息(例如，发布请求包括TX-END标志)。

一些实施例中，中间设备632可把消息作为单个http块(步骤856)传输并产生200OK响应给服务器(步骤858)。如果消息被标记为响应的最后一个消息，设备200还用零块(zero-chunk)终止HTTP响应。设备知道整个内容长度的情况下，例如，响应上的第一消息还指示“最后一个消息”标志时，设备可选择发送指定内容长度的响应，而不是发送分块的响应。消息、响应或请求不指定块时、消息、响应或请求不分块时或者消息、响应或请求不把“分块”指定为传送编码方法时，包括“最后一个消息”标志是有帮助的。这些实施例可包括流式传输和基于长轮询的传送。

仍在其他实施例中，中间设备632识别发布请求中的句柄时，中间设备可以从存储每个被标记的连接以及相应的句柄、目标客户机102和目标服务器的连接表640中检索目标客户机102。因而，中间设备632可以从发布请求中提取句柄，并搜索连接表640中对应于句柄的条目。一些实施例中，然后，中间设备632可以从找到的条目中获得目标客户机102的地址和位置信息，或者，一些情况下，获得目标用户会话的地址和位置信息。虽然一些实施例中中间设备可以搜索连接表640寻找相应的句柄信息，但是，一些实施例中，推送vserver 635、连接标记器638或者中间设备632上执行的任何其他应用可以检索对应于句柄的信息。如果在中间设备的连接表中未找到对应于推送消息/发布请求中的句柄的客户机连接(例如，客户机连接超时)，可以把指示连接不存在的错误响应发回服务器。

一些实施例中，主动和被动(备份或者故障切换)设备200(中间设备632)不能同步其连接表，因而，故障切换时，新设备200可以重新开始新一组连接、标记和句柄。一些实施例中，主动和被动设备200可以同步连接表，因而，出现故障切换时，可以启动具有包括前一连接表中每一条目的连接表640的新设备。因而，新设备200或中间设备632可访问出故障的设备200或中间设备632访问的同一组连接、标记和句柄。

一些实施例中，做出服务器侧或应用变化，以支持设备200或中间设备632中出现的操作。一些实施例中，服务器可以没有中间设备的信息而保存客户机连接和相关标记之间的一对一关联。部署中间设备时，由中间设备632而不是服务器106管理所有闲置连接。因而，可以修改服务器106，使得服务器可基于活动和/或定时器管理客户机-服务器连接标记。对于服务器106接收的每个插入了句柄的请求，服务器决定是否提供可推迟的或是正常响应。对于可推迟的响应，服务器106将该插入的句柄插入空响应，并基于带外更新来设定用于推送的该标记。由于客户机102和中间设备632之间可能存在有状态的(stateful)代理装置或设备，所以不同的客户机请求可以复用在一个连接上。这些实施例中，客户机102和服务器106可插入表格以在多个请求中唯一地识别客户机102。一些实施例中，对于长轮询和流式客户机，都使用推送协议把更新消息发送给推送vserver 635。

一些实施例中，中间设备632可以配置用于在预定时间段内保持客户机连接打开。例如，下面命令可基于用户提供的值配置客户机连接超时：set lbvserver<client-facing-vip>-clttimeout<sec>。连接到期后或者中间设备632出故障或者断电时，中间设备632可以关闭连接或者发送如上述响应的保持有效的响应。一些实施例中，服务器也可以选择主动让标记到期(例如基于时间信息，如时间、日期等而让标记到期)。服务器106可通过发送推送消息给中间设备632来使标记到期而通知中间设备632来进行同样操作。

一些实施例中，如果客户机连接上的TCP窗口不允许(例如客户机连接上的零TCP窗口)要传送给客户机102的消息，那么可以丢弃来自服务器的发布请求/推送消息。本例中，中间设备632可以通过响应或通过指示丢弃消息的错误消息来通知服务器106消息被丢弃。

一些实施例中，如果中间设备632在要完成的前一事务中间或者在等待要完成的前一事务时接收到流水线请求，可以像任何其他流水线请求一样处理该请求，即，只有在前一事务完成后才保持并处理该请求。

一些实施例中，中间设备632或设备被配置成确保只有经授权的服务器106连接到推送vserver 635。这可利用具有客户机验证的SSL来解决，以保证只有信任的服务器才和推送vserver通信。其他实施例中，可以通过ACL(访问控制列表)来控制对推送vserver 635的访问。这些ACL可以存储在一个或多个服务器106、中间设备632上，或者既存储在服务器106上又存储在中间设备632上。

在一些实施例中，服务器106可能想关闭客户机连接或会话。为此，服务器106可发送消息给中间设备632，该消息指示请求中包括的句柄所指的连接应该被关闭。一些实施例中，这可被包括在消息通讯协议中，从而无论中间设备632何时接收到指示应关闭所指的句柄的服务器发布请求，中间设备632都关闭该连接。一些实施例中，中间设备632可以解释或解析消息并响应于该消息关闭客户机连接。一些实施例中，消息可包括或者是具有特殊的经编码的或预定的URL的POST消息，该URL识别或具有要关闭的连接标记。

一些实施例中，中间设备632处理称为“离开”客户机的客户机(例如不再连接、超时、无效、不再响应的客户机等)。一个实施例中，中间设备632接收到客户机102的更新(即，对连接标记器638、负载平衡vserver 636或推送vserver 635的POST请求)，如果客户机连接不在连接表640中，那么，中间设备632可以发送故障响应码，如HTTP响应码，同时在响应体中伴随着发送给服务器106的更多信息。服务器106可以从该响应码和信息识别或理解客户机102已离开，并通过删除连接标记或者以其他方式从可用的客户机连接的列表中移除客户机连接来移除客户机会话。

其他实施例中，中间设备632可异步地通知服务器106客户机102已离开或不再连接。一些实施例中，中间设备632通过向服务器106发送消息以及有关客户机连接终止的连接标记细节而关闭客户机连接。由于客户机和服务器连接是分离的，所以中间设备632可能不知道把该消息发送给哪个服务器106。一些实施例中，中间设备632可识别并在连接表640或他处存储与客户机连接关联的客户机102和服务器106列表。因而，连接终止时，中间设备632仍可确定目标服务器106。使用该信息，中间设备632可以把对应于终止的连接的消息传输给服务器106。其他实施例中，服务器106可通过向中间设备632查询有关特定客户机连接的信息来定期轮询到期的会话/连接。服务器106从中间设备632接收到指示连接不存在的响应后，作为响应，服务器106可以从可用连接内部列表移除连接。

图9示出用于把异步HTTP消息传输给一个或多个客户机的方法900的实施例。中间设备632或者中间设备632的负载平衡vserver 636可以接收要连接到应用、会话或服务器的客户机102请求(步骤902)。然后，中间设备632或负载平衡vserver 636可以从连接到中间设备632的多个服务器106中选择一个服务器106(步骤904)，并通过把句柄插入客户机请求的头部来修改客户机请求(步骤906)。一些实施例中，然后，中间设备632或负载平衡vserver 636可以断开服务器106和客户机102的链接，同时保持客户机102和中间设备632之间的连接(步骤908)。一些实施例中，然后中间设备632或推送vserver 635可以从和中间设备通信的服务器106接收发布请求(步骤910)。发布请求可包括推送消息或消息，以及识别客户机-服务器连接的标识符或标记。确定客户机-服务器连接标记后(步骤912)，中间设备632或推送vserver 635可以识别对应于客户机-服务器连接的客户机-中间设备连接，并通过所识别的客户机-中间设备连接传输推送消息(步骤914)。

继续参考图9，具体而言，一个实施例中，中间设备632可接收客户机请求(步骤902)。其他实施例中，负载平衡vserver 636可以接收客户机请求，而其他实施例中，中间设备632上执行的另一应用、对象、服务、客户机或代理可接收客户机请求。一些实施例中，由客户机102与中间设备632之间的代理装置、计算机或者设备接收客户机请求。该代理装置接收客户机请求并将客户机请求转发给中间设备632。一些实施例中，代理装置直接和负载平衡vserver 636相接口。一些实施例中，可以把在客户机102和中间设备之间建立的连接称为第一连接、第二连接或第三连接。

然后，中间设备632、负载平衡vserver 636或连接标记器638选择后端服务器(步骤904)。一些实施例中，从和中间设备632通信的一个或多个服务器106中选择服务器106。其他实施例中，由管理位于与中间设备632通信的每个服务器106上的负载的负载平衡vserver 636′选择服务器106。仍在其他实施例中，中间设备632可选择web服务器106B。一些实施例中，可以把在客户机102和服务器106之间建立的连接称为第一连接、第二连接或第三连接。一些实施例中，可以把在中间设备632和服务器106之间建立的连接称为第一连接、第二连接、第三连接或第四连接。

中间设备632、负载平衡vserver 636或者连接标记器638产生识别客户机102和服务器106之间的连接的句柄。一些实施例中，该客户机标识可包括推送vserver 635、客户机102、服务器106和/或中间设备632的标识。一些实施例中，把修改客户机请求的句柄插入客户机请求(步骤906)可包括执行此处所述的任一方法和过程。修改了客户机请求后，中间设备632可把请求发送给所选的服务器106(步骤906)。

一些实施例中，中间设备可以断开客户机102和中间设备632的连接与服务器106和中间设备632的连接之间的链接。其他实施例中，中间设备632可以在预定时间段后断开服务器106和中间设备632之间的连接，而其他实施例中，中间设备不断开该连接。一些实施例中，断开连接可包括终止中间设备632和服务器106之间的连接。其他实施例中，断开连接可包括发送另外的数据给服务器106，其中另外的数据不包括识别客户机102的头部或其他信息。一些实施例中，中间设备632断开服务器侧连接和客户机侧连接之间的链接并把服务器侧连接放回连接池中。一些实施例中，中间设备632对连接进行负载平衡。一些实施例中，中间设备632重新把同一个或另一个服务器侧连接链接到客户机侧连接。

中间设备632、负载平衡vserver 636′或推送vserver 635可从服务器106接收发布请求(步骤910)。发布请求可包括消息、推送消息或者异步消息，或者发布请求可伴有或跟随着消息、推送消息或者异步消息。一些实施例中，发布请求或者伴随的消息可以通过包含连接标记或句柄来识别客户机-服务器连接。中间设备632可通过从发布消息、发布消息头部、消息或者消息头部中提取连接标记或句柄来识别客户机-服务器侧连接(步骤912)。一些实施例中，服务器106可向中间设备发送识别客户机-服务器连接的独立消息。一些实施例中，服务器106是客户机102最初连接的同一个服务器106。其他实施例中，服务器106是和客户机102最初连接的服务器106不同的服务器106。可以把传输发布请求或推送消息的服务器106和中间设备之间的连接称为第一连接、第二连接、第三连接或者第四连接。

识别到连接标记或句柄后，中间设备632可以根据连接标记或句柄确定客户机102地址。一些实施例中，中间设备632可以确定识别目的客户机102和中间设备632之间的第二连接标记。中间设备632或者中间设备632上执行的其他应用可以根据连接标记或者句柄识别目的客户机102，并使用该信息通过在中间设备632和目的客户机102之间保持的连接传输推送消息(步骤914)。一些实施例中，中间设备632可在整个连接标记过程中、从后端服务器106接收推送消息的过程、中间设备632把消息发送给客户机102的过程中保持中间设备632或者负载平衡vserver 636与客户机102之间的连接。中间设备632可以在多个响应/请求和推送消息过程中保持客户机侧连接，直到连接关闭。

一方面，本发明提供了可在许多不同环境中使用的同时保持向后兼容性的灵活方案。一些情况下，这些方法和系统所使用的任何线路(wire)级协议可以为可检测版本(discoverable version)，并通过多个中间设备或装置的组合或部署来扩展。一些方面中，本方案是对应用不理解(agnostic)的，这样，通过不内置或不实现对连接管理语义之外的应用语义的任何理解，本方案可用于许多或者所有应用。其他实施例中，本方案可以是应用不理解的，同时，仍然实现应用专有的增强或特征，也就是说，本方案可用于任何或所有应用，并且对于预定的应用，本发明执行额外的或增强的功能。

另一方面，本发明可以覆盖所有或大部分基于HTTP的服务器推送使用情况。一些实施例中，本方案可以和Comet流式响应、XMPP(可扩展消息通信和表示协议)、通过同步HTTP的双向流(BOSH)和BOSH XMPP实现的任何一个或多个具体的变型无缝操作，其中Comet指web应用模型，其中，长时间保持的HTTP请求允许web服务器把数据推送给浏览器。BOSH是传输协议，其使用多个同步HTTP请求/响应对而无需使用轮询或异步块传送来模拟如客户机和服务器的两个实体之间的双向流。通过BOSH的XMPP定义如何使用BOSH来传输XMPP节。本方案可支持一种或多个非HTTP协议中的服务器推送机制和实现，例如IMAP(因特网消息访问协议)。

Claims (22)

1.一种通过管理客户机和服务器之间的连接的设备从服务器向客户机推送异步更新的方法，所述方法包括：

a)由设备的虚拟服务器从多个服务器中的第一服务器接收第一标记，第一标记标示由虚拟服务器为多个客户机的第一客户机和第一服务器建立的第一连接；

b)由虚拟服务器维持第一客户机和与第一客户机到第一服务器的第一连接相关联的设备之间的第二连接；

c)由在设备上执行的推送虚拟服务器通过第三连接接收把第一服务器的异步消息推送给第一客户机的请求，所述请求识别第一标记；

d)由设备响应于接收所述请求而识别第一标记对应于设备与第一客户机之间的第二连接；以及

e)由设备通过第二连接向第一客户机传输由设备通过第三连接接收的异步消息。

2.根据权利要求1所述的方法，还包括使用连接标记协议建立设备和第一服务器之间的第一标记。

3.根据权利要求1所述的方法，还包括：

由设备向第一服务器传输来自第一客户机的请求，所述请求具有包括由设备插入的句柄的第一头部；

由设备从第一服务器接收对所述请求的响应，所述响应具有包括句柄的第二头部；以及

由设备响应于所述响应确定句柄为第一客户机的第一标记。

4.根据权利要求3所述的方法，还包括由设备把用第二连接的连接元组编码的句柄插入到请求的头部。

5.根据权利要求3所述的方法，还包括由设备把包括设备的推送虚拟服务的侦听端点的句柄插入到请求的头部。

6.根据权利要求3所述的方法，还包括由设备接收从第一服务器到设备的把异步消息推送给第一客户机的请求，所述请求识别句柄并包括消息。

7.根据权利要求1所述的方法，其中由设备的推送虚拟服务器把异步消息作为单个超文本传输协议(HTTP)块传输给第一客户机。

8.根据权利要求1所述的方法，还包括通过从通知服务器到设备的第三连接接收推送请求。

9.根据权利要求7所述的方法，还包括由设备响应于把异步消息传输给第一客户机而向通知服务器传输确认响应。

10.根据权利要求1所述的方法，还包括由设备从通知服务器接收包括异步消息是最后一条消息的标识的异步消息。

11.根据权利要求1所述的方法，还包括由推送虚拟服务器接收把第一服务器的异步消息在第一连接和第二连接的带外推送给第一客户机的请求。

12.一种通过管理客户机和服务器之间的连接的设备从服务器向客户机推送异步更新的系统，所述系统包括：

设备的虚拟服务器，其从多个服务器中的第一服务器接收第一标记，第一标记标示由虚拟服务器为多个客户机的第一客户机和第一服务器建立的第一连接并维持第一客户机和与第一客户机到第一服务器的第一连接相关联的设备之间的第二连接；

在设备上执行的推送虚拟服务器，其通过第三连接接收把第一服务器的异步消息推送给第一客户机的请求，所述请求识别第一标记；

其中设备响应于接收所述请求而识别第一标记对应于设备与第一客户机之间的第二连接并且通过第二连接向第一客户机传输由设备通过第三连接接收的异步消息。

13.根据权利要求12所述的系统，其中设备和第一服务器使用连接标记协议建立第一标记。

14.根据权利要求12所述的系统，其中设备向第一服务器传输来自第一客户机的请求，所述请求具有包括由设备插入的句柄的第一头部；

并且其中设备从第一服务器接收对所述请求的响应，所述响应具有包括句柄的第二头部；设备响应于所述响应确定句柄为第一客户机的第一标记。

15.根据权利要求12所述的系统，其中设备把用第二连接的连接元组编码的句柄插入到请求的头部。

16.根据权利要求15所述的系统，其中设备把包括设备的推送虚拟服务的侦听端点的句柄插入到请求的头部。

17.根据权利要求15所述的系统，其中设备从第一服务器接收把异步消息推送给第一客户机的请求，所述请求识别句柄并包括消息。

18.根据权利要求12所述的系统，其中设备把异步消息作为单个超文本传输协议(HTTP)块传输给第一客户机。

19.根据权利要求12所述的系统，其中设备通过从通知服务器到设备的第三连接接收推送请求。

20.根据权利要求19所述的系统，其中设备响应于把异步消息传输给第一客户机而向通知服务器传输确认响应。

21.根据权利要求12所述的响应，其中设备从通知服务器接收包括异步消息是最后一条消息的标识的异步消息。

22.根据权利要求12所述的系统，其中推送虚拟服务器接收把第一服务器的异步消息在第一连接和第二连接的带外推送给第一客户机的请求。

Images