CN103155520A - 用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法 - Google Patents

用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法 Download PDF

Info

Publication number
CN103155520A
CN103155520A CN2011800481203A CN201180048120A CN103155520A CN 103155520 A CN103155520 A CN 103155520A CN 2011800481203 A CN2011800481203 A CN 2011800481203A CN 201180048120 A CN201180048120 A CN 201180048120A CN 103155520 A CN103155520 A CN 103155520A
Authority
CN
China
Prior art keywords
core
virtual
packet
network
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800481203A
Other languages
English (en)
Other versions
CN103155520B (zh
Inventor
D·格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citrix Systems Inc
Original Assignee
Citrix Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citrix Systems Inc filed Critical Citrix Systems Inc
Publication of CN103155520A publication Critical patent/CN103155520A/zh
Application granted granted Critical
Publication of CN103155520B publication Critical patent/CN103155520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/20—Traffic policing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2408—Traffic characterised by specific attributes, e.g. priority or QoS for supporting different services, e.g. a differentiated services [DiffServ] type of service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/12—Protocol engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法和系统。装置上的第一虚拟化域可经由网络接口硬件接收（1201）分组。第一虚拟化域可包括具有访问该硬件的权限的特权域。系统可将分组传递（1203）到来自多个虚拟化分组处理器并且在核上的第二虚拟化域内执行的虚拟化分组处理器的队列。第二虚拟化域可能没有直接访问网络接口硬件的权限。分组处理器可确定（1205）该队列包括从队列读取的多个分组和写入队列的多个分组之间的差异。分组处理器可响应于该确定处理（1207）来自该队列的分组。

Description

用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法
相关申请
本申请要求在2010年8月6日提交的、标题为“SYSTEMS ANDMETHODS FOR A PARA-VIRTUALIZED DRIVER IN A MULTI-COREVIRTUAL PACKET ENGINE DEVICE”的美国临时专利申请NO.61/371309的优先权，该美国临时专利申请通过引用被全部包含于此。
技术领域
本申请总的涉及多核装置中的数据通信网络。本申请尤其涉及用于在运行多个虚拟化分组引擎的多核装置中提供半虚拟化(para-virtualized)驱动程序的系统和方法。
背景技术
在多核系统中，任一核可以执行相同功能或不同功能。多核系统可部署接收侧调节器(scaler)，例如微软的接收侧调节技术，该接收侧调节器用于将从网络接口卡接收的分组分发到任一核以进行处理。该接收侧调节器可能不知道在任何核上执行的功能。当接收侧调节器从网络接口卡接收网络分组时，其基于预定功能将该网络分组转发到核。该网络分组可以是某一上下文中的事务的一部分或一系列的多个网络分组的部分。由于接收侧调节器的分发功能，这些网络分组中的一些可能去往不同的核。此外，可以在每个核上运行虚拟化环境。这些虚拟化环境可共享物理网络接口卡。这可能导致在基于上下文或数据流来处理和协调跨核及虚拟化环境的网络分组时出现问题。
发明内容
多核系统可平衡该多核系统中一个或多个核上的网络流量。这些多核系统可包括任意数量的核或处理器。在一些实施例中，多核系统根据流分布模型来分发网络流量，该流分布模型例如是功能并行性，其中将多核系统的每个核分配给不同的功能，或者是数据并行性，其中将多核系统中的每个核分配给不同的装置或模块。
在一些实例中，在一个或多个核上分发网络流量需要从网络接口卡获得网络流量并且将该网络流量存储在所选择的核上。很多网络接口卡包括发送和接收队列，其中，可以在将数据分组穿过内部系统进行转发之前或者将数据分组通过网络发送出去之前，在该发送和接收队列中存储该最新接收的数据分组。通常，核不与特定的网络接口卡相关联，且因而核没有访问通常包含在网络接口卡中的发送和接收队列的权限。相反地，在一些实施例中，多核系统中的每个核共享公用网络接口卡。
在一些情况下，核可以运行虚拟化环境，其中在管理程序上操作分组引擎。每个核可通过管理程序来运行客户操作系统，称作域。该客户操作系统可具有不同的特权。一个核可能具有直接访问装置的硬件和驱动程序（例如物理NIC卡）以及与装置的硬件和驱动程序直接相接的特权。该核可直接访问核共享的硬件的公用网络接口和虚拟化环境。其他核可能不具有这样的特权，并且经由管理程序的接口以及通过与具有访问NIC的特权的核进行通信来访问NIC的网络流量。
在一些方面，本解决方案针对设计和实现半虚拟化网络驱动程序，用于处理在多核系统的相应核上运行的多个虚拟化分组处理引擎之间的网络通信。运行虚拟化环境的第一域的第一核从多核装置的NIC接收分组。第一核的第一域可建立与第二核的第二域的通知通道。第一域将这些分组通过由管理程序的共享存储接口提供的RX环发送到第二域。第一域经由通知通道向第二域发送通知。第二域在网络I/O处理期间可以检查读取和写入描述符之间的区别。基于该区别，第二域可从RX环读取分组。第二域将来自RX环的这些分组转换为由分组处理引擎处理的形式。
第二域的分组处理引擎可具有经由物理NIC发送的网络分组。第二域可将网络分组转换为用于发送到存储缓冲区的形式。第二域将这些存储缓冲区存储到共享TX环。第二域还向第一域发送通知，指示分组存储到共享的TX环。在网络I/O操作期间，第一域基于对共享环的读取和写入描述符之间的区别从TX共享环读取。基于该区别，第一域从共享TX环读取存储缓冲区，将分组转换为用于分组处理引擎经由物理NIC发送的形式。接着将这些分组由第一域经由物理NIC进行发送。
在一个方面，本解决方案涉及用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法。在多核装置上执行的第一虚拟化域可经由多核装置的网络接口硬件接收分组。第一虚拟化域可包括具有直接访问网络接口硬件的权限的特权域。系统可将分组传递到虚拟化分组处理器的队列。该虚拟化分组处理器可来自于多个虚拟化分组处理器并且在多核装置的核上的第二虚拟化域中执行。第二虚拟化域可来自于多个虚拟化域，该多个虚拟化域没有直接访问网络接口硬件的权限。虚拟化分组处理器可确定队列包括从队列读取的多个分组和写入队列的多个分组之间的区别。虚拟化分组处理器可响应于该确定处理来自队列的分组。
在一些实施例中，系统可以在多核装置的用户存储空间中执行虚拟化分组处理器。系统可在多核装置的内核存储空间中建立可由第一虚拟化域和第二虚拟化域访问的队列。系统可以为多个虚拟化分组处理器的每一个分配多核装置的内核存储空间中的相应的队列。第一虚拟化域可以在将分组传递到虚拟化分组处理器的队列之前，将该分组发送到驻留在多核装置的内核空间中的共享队列中。虚拟化分组处理器可响应于识别从队列读取的分组数量和写入队列的分组数量之间的区别来生成系统调用或管理程序调用，从而将分组从队列传输到第二虚拟化域。
在某些实施例中，系统将分组从队列中的第一格式转换为第二格式，用于由虚拟化分组处理器进行处理。系统可将多个分组从队列传输到驻留在用户存储空间中的虚拟化分组处理器的接收队列。系统可将分组从内核存储空间中的队列传递到多核装置的用户存储空间中的第二虚拟化域的接收队列。在一些实施例中，系统可以在第一虚拟化域中执行驱动程序的第一部分，用于从网络接口硬件接收分组；并且在第二虚拟化域中执行驱动程序的第二部分，用于从队列接收分组。
在一个方面，本解决方案涉及用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法。在多核装置的核上的第一虚拟化域中执行的虚拟化分组处理器可将分组缓冲到第一虚拟化域的发送队列。第一虚拟化域可来自于没有直接访问多核装置的网络接口硬件的权限的多个虚拟化域。虚拟化分组处理器可确定发送队列具有要发送的一个或多个分组。系统可响应于该确定，将一个或多个分组从发送队列发送到驻留在多核装置的内核存储空间上的、可由第二虚拟化域访问的共享队列。第二虚拟化域可包括具有直接访问网络接口硬件的权限的特权域。第二虚拟化域可响应于来自第一虚拟化域的通知访问共享队列中的一个或多个分组，该一个或多个分组用于经由网络接口硬件发送到网络。
在一些实施例中，共享队列可驻留在管理程序的内核空间中，该管理程序提供第一和第二虚拟化域。系统可以在多核装置的内核空间中建立可由第一虚拟化域访问的共享队列。虚拟化分组处理器可响应于将一个或多个分组缓冲到发送队列上来生成系统调用，以发起发送队列上一个或多个分组到内核存储空间中的共享队列的传递。
在某些实施例中，虚拟化分组处理器可在内核存储空间中生成管理程序调用以发起发送队列上的一个或多个分组到内核存储空间中的共享队列的传递。系统可以在将分组缓冲到发送队列之前，将分组从与虚拟化分组处理器关联的第一格式转换为第二格式。系统可在第一虚拟化域中执行驱动程序的第一部分，以将分组缓冲到发送队列中，并且在第二虚拟化域中执行驱动程序的第二部分，以访问共享队列中的分组。
在附图和下文的描述中详细阐述本发明的各种实施例的细节。
附图说明
此处所述的方法和系统的前述和其它目的、方面、特征和优点通过参考下述结合附图的细节描述将会更加明显并更易于理解，其中：
图1A是客户机经由设备访问服务器的网络环境的实施例的框图；
图1B是通过设备从服务器传送计算环境到客户机的环境的实施例的框图；
图1C是经由设备从服务器传送计算环境到客户机的环境的另一个实施例的框图；
图1D是通过设备从服务器传送计算环境到客户机的环境的另一个实施例的框图；
图1E-1H是计算装置的实施例的框图；
图2A是用于处理客户机和服务器之间的通信的设备的实施例的框图；
图2B是用于优化、加速、负载平衡和路由客户端和服务器之间的通信的设备的另一个实施例的框图；
图3是用于经由设备与服务器通信的客户机的实施例的框图；
图4A是虚拟化环境的实施例的框图；
图4B是虚拟化环境的另一个实施例的框图；
图4C是虚拟化设备的实施例的框图；
图5A是在多核系统中实现并行的方法实施例的框图；
图5B是使用多核系统的系统的实施例的框图；
图5C是多核系统的一个方面的另一个实施例的框图；
图6是多核系统的实施例的框图；
图7A-7D是用于在多核系统中跨逻辑队列分发数据分组的方法的实施例的流程图；
图8是用于基于哈希跨多核系统分发数据分组的方法的实施例的流程图；
图9是用于经由核到核的信息传送跨多核系统分发数据分组的方法的实施例的流程图；
图10是用于发送存储在多核系统中的核上的逻辑发送队列中的数据分组的方法的实施例的流程图；
图11是用于将数据分组分发到多核系统中的核上的逻辑接收队列的方法的实施例的流程图；
图12A是在系统的实施例中的半虚拟化驱动程序的实施例的框图；
图12B是在多核系统的实施例中的半虚拟化驱动程序的实施例的框图；
图12C是用于在多核装置的网络接口硬件和虚拟化分组处理器之间传递分组的方法的实施例的流程图；以及
图12D是用于在多核装置的网络接口硬件和虚拟化分组处理器之间传递分组的方法的另一个实施例的流程图。
从下面结合附图所提出的详细描述，此处所述方法和系统的特征和优点将更明显，其中，相同的参考标记在全文中表示相应的元件。在附图中，同样的附图标记通常表示相同的、功能上相似的和/或结构上相似的元素。
具体实施方式
为了阅读下文各种实施例的描述，下述对于说明书的部分以及它们各自内容的描述是有用的：
－A部分描述有益于实施本文描述的实施例的网络环境和计算环境；
－B部分描述用于将计算环境传送到远程用户的系统和方法的实施例；
－C部分描述用于加速客户机和服务器间通信的系统和方法的实施例；
－D部分描述用于对应用传送控制器进行虚拟化的系统和方法的实施例。
－E部分描述用于提供多核架构和环境的系统和方法的实施例；
－F部分描述用于跨多核架构和环境分发数据分组的系统和方法的实施例；以及
－G部分描述用于半虚拟化驱动程序的系统和方法的实施例。
A.网络和计算环境
在讨论设备和/或客户机的系统和方法的实施例的细节之前，讨论可在其中部署这些实施例的网络和计算环境是有帮助的。现在参见图1A，描述了网络环境的实施例。概括来讲，网络环境包括经由一个或多个网络104、104’（总的称为网络104）与一个或多个服务器106a－106n（同样总的称为服务器106，或远程机器106）通信的一个或多个客户机102a－102n（同样总的称为本地机器102，或客户机102）。在一些实施例中，客户机102通过设备200与服务器106通信。
虽然图1A示出了在客户机102和服务器106之间的网络104和网络104’，客户机102和服务器106可以位于同一个的网络104上。网络104和104’可以是相同类型的网络或不同类型的网络。网络104和/或104’可为局域网（LAN）例如公司内网，城域网（MAN），或者广域网（WAN）例如因特网或万维网。在一个实施例中，网络104可为专用网络并且网络104’可为公网。在一些实施例中，网络104可为专用网并且网络104’可为公网。在又一个实施例中，网络104和104’可都为专用网。在一些实施例中，客户机102可位于公司企业的分支机构中，通过网络104上的WAN连接与位于公司数据中心的服务器106通信。
网络104和/或104’可以是任何类型和/或形式的网络，并且可包括任何下述网络：点对点网络，广播网络，广域网，局域网，电信网络，数据通信网络，计算机网络，ATM（异步传输模式）网络，SONET（同步光纤网络）网络，SDH（同步数字体系）网络，无线网络和有线网络。在一些实施例中，网络104可以包括无线链路，诸如红外信道或者卫星频带。网络104和/或104’的拓扑可为总线型、星型或环型网络拓扑。网络104和/或104’以及网络拓扑可以是对于本领域普通技术人员所熟知的、可以支持此处描述的操作的任何这样的网络或网络拓扑。
如图1A所示，设备200被显示在网络104和104’之间，设备200也可被称为接口单元200或者网关200。在一些实施例中，设备200可位于网络104上。例如，公司的分支机构可在分支机构中部署设备200。在其他实施例中，设备200可以位于网络104’上。例如，设备200可位于公司的数据中心。在又一个实施例中，多个设备200可在网络104上部署。在一些实施例中，多个设备200可部署在网络104’上。在一个实施例中，第一设备200与第二设备200’通信。在其他实施例中，设备200可为位于与客户机102同一或不同网络104、104’的任一客户机102或服务器106的一部分。一个或多个设备200可位于客户机102和服务器106之间的网络或网络通信路径中的任一点。
在一些实施例中，设备200包括由位于佛罗里达州Ft.Lauderdale的CitrixSystems公司制造的被称为Citrix NetScaler设备的任何网络设备。在其他实施例中，设备200包括由位于华盛顿州西雅图的F5Networks公司制造的被称为WebAccelerator和BigIP的任何一个产品实施例。在又一个实施例中，设备205包括由位于加利福尼亚州Sunnyvale的Juniper Networks公司制造的DX加速设备平台和/或诸如SA700、SA2000、SA4000和SA6000的SSLVPN系列设备中的任何一个。在又一个实施例中，设备200包括由位于加利福尼亚州San Jose的Cisco Systems公司制造的任何应用加速和/或安全相关的设备和/或软件，例如Cisco ACE应用控制引擎模块服务（ApplicationControl Engine Module service）软件和网络模块以及Cisco AVS系列应用速度系统（Application Velocity System）。
在一个实施例中，系统可包括多个逻辑分组的服务器106。在这些实施例中，服务器的逻辑分组可以被称为服务器群38。在其中一些实施例中，服务器106可为地理上分散的。在一些情况中，群38可以作为单个实体被管理。在其他实施例中，服务器群38包括多个服务器群38。在一个实施例中，服务器群代表一个或多个客户机102执行一个或多个应用程序。
在每个群38中的服务器106可为不同种类。一个或多个服务器106可根据一种类型的操作系统平台（例如，由华盛顿州Redmond的Microsoft公司制造的WINDOWS NT）操作，而一个或多个其它服务器106可根据另一类型的操作系统平台（例如，Unix或Linux）操作。每个群38的服务器106不需要与同一群38内的另一个服务器106物理上接近。因此，被逻辑分组为群38的服务器106组可使用广域网（WAN）连接或城域网（MAN）连接互联。例如，群38可包括物理上位于不同大陆或大陆的不同区域、国家、州、城市、校园或房间的服务器106。如果使用局域网（LAN）连接或一些直连形式来连接服务器106，则可增加群38中的服务器106间的数据传送速度。
服务器106可被称为文件服务器、应用服务器、web服务器、代理服务器或者网关服务器。在一些实施例中，服务器106可以有作为应用服务器或者作为主应用服务器工作的能力。在一个实施例中，服务器106可包括活动目录。客户机102也可称为客户端节点或端点。在一些实施例中，客户机102可以有作为客户机节点寻求访问服务器上的应用的能力，也可以有作为应用服务器为其它客户机102a-102n提供对寄载的应用的访问的能力。
在一些实施例中，客户机102与服务器106通信。在一个实施例中，客户机102与群38中的服务器106的其中一个直接通信。在又一个实施例中，客户机102执行程序邻近应用（program neighborhood application）以与群38内的服务器106通信。在又一个实施例中，服务器106提供主节点的功能。在一些实施例中，客户机102通过网络104与群38中的服务器106通信。通过网络104，客户机102例如可以请求执行群38中的服务器106a-106n寄载的各种应用，并接收应用执行结果的输出进行显示。在一些实施例中，只有主节点提供识别和提供与寄载所请求的应用的服务器106’相关的地址信息所需的功能。
在一个实施例中，服务器106提供web服务器的功能。在又一个实施例中，服务器106a接收来自客户机102的请求，将该请求转发到第二服务器106b，并使用来自服务器106b对该请求的响应来对客户机102的请求进行响应。在又一个实施例中，服务器106获得客户机102可用的应用的列举以及与由该应用的列举所识别的应用的服务器106相关的地址信息。在又一个实施例中，服务器106使用web接口将对请求的响应提供给客户机102。在一个实施例中，客户机102直接与服务器106通信以访问所识别的应用。在又一个实施例中，客户机102接收由执行服务器106上所识别的应用而产生的诸如显示数据的应用输出数据。
现参考图1B，描述了部署多个设备200的网络环境的实施例。第一设备200可以部署在第一网络104上，而第二设备200’部署在第二网络104’上。例如，公司可以在分支机构部署第一设备200，而在数据中心部署第二设备200’。在又一个实施例中，第一设备200和第二设备200’被部署在同一个网络104或网络104上。例如，第一设备200可以被部署用于第一服务器群38，而第二设备200可以被部署用于第二服务器群38’。在另一个实例中，第一设备200可以被部署在第一分支机构，而第二设备200’被部署在第二分支机构’。在一些实施例中，第一设备200和第二设备200’彼此协同或联合工作，以加速客户机和服务器之间的网络流量或应用和数据的传送。
现参考图1C，描述了网络环境的又一个实施例，在该网络环境中，将设备200和一个或多个其它类型的设备部署在一起，例如，部署在一个或多个WAN优化设备205,205’之间。例如，第一WAN优化设备205显示在网络104和104’之间，而第二WAN优化设备205’可以部署在设备200和一个或多个服务器106之间。例如，公司可以在分支机构部署第一WAN优化设备205，而在数据中心部署第二WAN优化设备205’。在一些实施例中，设备205可以位于网络104’上。在其他实施例中，设备205’可以位于网络104上。在一些实施例中，设备205’可以位于网络104’或网络104"上。在一个实施例中，设备205和205’在同一个网络上。在又一个实施例中，设备205和205’在不同的网络上。在另一个实例中，第一WAN优化设备205可以被部署用于第一服务器群38，而第二WAN优化设备205’可以被部署用于第二服务器群38’。
在一个实施例中，设备205是用于加速、优化或者以其他方式改善任何类型和形式的网络流量（例如去往和/或来自WAN连接的流量）的性能、操作或服务质量的装置。在一些实施例中，设备205是一个性能增强代理。在其他实施例中，设备205是任何类型和形式的WAN优化或加速装置，有时也被称为WAN优化控制器。在一个实施例中，设备205是由位于佛罗里达州Ft.Lauderdale的Citrix Systems公司出品的被称为WANScaler的产品实施例中的任何一种。在其他实施例中，设备205包括由位于华盛顿州Seattle的F5Networks公司出品的被称为BIG-IP链路控制器和WANjet的产品实施例中的任何一种。在又一个实施例中，设备205包括由位于加利福尼亚州Sunnyvale的Juniper NetWorks公司出品的WX和WXC WAN加速装置平台中的任何一种。在一些实施例中，设备205包括由加利福尼亚州San Francisco的Riverbed Technology公司出品的虹鳟（steelhead）系列WAN优化设备中的任何一种。在其他实施例中，设备205包括由位于新泽西州Roseland的Expand Networks公司出品的WAN相关装置中的任何一种。在一个实施例中，设备205包括由位于加利福尼亚州Cupertino的Packeteer公司出品的任何一种WAN相关设备，例如由Packeteer提供的PacketShaper、iShared和SkyX产品实施例。在又一个实施例中，设备205包括由位于加利福尼亚州San Jose的Cisco Systems公司出品的任何WAN相关设备和/或软件，例如Cisco广域网应用服务软件和网络模块以及广域网引擎设备。
在一个实施例中，设备205为分支机构或远程办公室提供应用和数据加速服务。在一个实施例中，设备205包括广域文件服务（WAFS）的优化。在又一个实施例中，设备205加速文件的传送，例如经由通用互联网文件系统（CIFS）协议。在其他实施例中，设备205在存储器和/或存储装置中提供高速缓存来加速应用和数据的传送。在一个实施例中，设备205在任何级别的网络堆栈或在任何的协议或网络层中提供网络流量的压缩。在又一个实施例中，设备205提供传输层协议优化、流量控制、性能增强或修改和/或管理，以加速WAN连接上的应用和数据的传送。例如，在一个实施例中，设备205提供传输控制协议（TCP）优化。在其他实施例中，设备205提供对于任何会话或应用层协议的优化、流量控制、性能增强或修改和/或管理。
在又一个实施例中，设备205将任何类型和形式的数据或信息编码成网络分组的定制的或标准的TCP和/或IP的报头字段或可选字段，以将其存在、功能或能力通告给另一个设备205’。在又一个实施例中，设备205’可以使用在TCP和/或IP报头字段或选项中编码的数据来与另一个设备205’进行通信。例如，设备可以使用TCP选项或IP报头字段或选项来传达在执行诸如WAN加速的功能时或者为了彼此联合工作而由设备205，205’所使用的一个或多个参数。
在一些实施例中，设备200保存在设备205和205’之间传达的TCP和/或IP报头和/或可选字段中编码的任何信息。例如，设备200可以终止经过设备200的传输层连接，例如经过设备205和205’的在客户机和服务器之间的一个传输层连接。在一个实施例中，设备200识别并保存由第一设备205通过第一传输层连接发送的传输层分组中的任何编码信息，并经由第二传输层连接来将具有编码信息的传输层分组传达到第二设备205’。
现参考图1D，描述了用于传送和/或操作客户机102上的计算环境的网络环境。在一些实施例中，服务器106包括用于向一个或多个客户机102传送计算环境或应用和/或数据文件的应用传送系统190。总的来说，客户机10通过网络104、104’和设备200与服务器106通信。例如，客户机102可驻留在公司的远程办公室里，例如分支机构，并且服务器106可驻留在公司数据中心。客户机102包括客户机代理120以及计算环境15。计算环境15可执行或操作用于访问、处理或使用数据文件的应用。可经由设备200和/或服务器106传送计算环境15、应用和/或数据文件。
在一些实施例中，设备200加速计算环境15或者其任何部分到客户机102的传送。在一个实施例中，设备200通过应用传送系统190加速计算环境15的传送。例如，可使用此处描述的实施例来加速从公司中央数据中心到远程用户位置（例如公司的分支机构）的流应用（streaming application）及该应用可处理的数据文件的传送。在又一个实施例中，设备200加速客户机102和服务器106之间的传输层流量。设备200可以提供用于加速从服务器106到客户机102的任何传输层有效载荷的加速技术，例如：1）传输层连接池，2）传输层连接多路复用，3）传输控制协议缓冲，4）压缩和5）高速缓存。在一些实施例中，设备200响应于来自客户机102的请求提供服务器106的负载平衡。在其他实施例中，设备200充当代理或者访问服务器来提供对一个或者多个服务器106的访问。在又一个实施例中，设备200提供从客户机102的第一网络104到服务器106的第二网络104’的安全虚拟专用网络连接，诸如SSL VPN连接。在又一些实施例中，设备200提供客户机102和服务器106之间的连接和通信的应用防火墙安全、控制和管理。
在一些实施例中，基于多个执行方法并且基于通过策略引擎195所应用的任一验证和授权策略，应用传送管理系统190提供将计算环境传送到远程的或者另外的用户的桌面的应用传送技术。使用这些技术，远程用户可以从任何网络连接装置100获取计算环境并且访问服务器所存储的应用和数据文件。在一个实施例中，应用传送系统190可驻留在服务器106上或在其上执行。在又一个实施例中，应用传送系统190可驻留在多个服务器106a-106n上或在其上执行。在一些实施例中，应用传送系统190可在服务器群38内执行。在一个实施例中，执行应用传送系统190的服务器106也可存储或提供应用和数据文件。在又一个实施例中，一个或多个服务器106的第一组可执行应用传送系统190，而不同的服务器106n可存储或提供应用和数据文件。在一些实施例中，应用传送系统190、应用和数据文件中的每一个可驻留或位于不同的服务器。在又一个实施例中，应用传送系统190的任何部分可驻留、执行、或被存储于或分发到设备200或多个设备。
客户机102可包括用于执行使用或处理数据文件的应用的计算环境15。客户机102可通过网络104、104’和设备200请求来自服务器106的应用和数据文件。在一个实施例中，设备200可以将来自客户机102的请求转发到服务器106。例如，客户机102可能不具有本地存储或者本地可访问的应用和数据文件。响应于请求，应用传送系统190和/或服务器106可以传送应用和数据文件到客户机102。例如，在一个实施例中，服务器106可以把应用作为应用流来传输，以在客户机102上的计算环境15中操作。
在一些实施例中，应用传送系统190包括Citrix Systems有限公司的Citrix Access SuiteTM的任一部分（例如MetaFrame或Citrix PresentationServerTM），和/或微软公司开发的
Figure GDA00003006691300111
Windows终端服务中的任何一个。在一个实施例中，应用传送系统190可以通过远程显示协议或者以其它方式通过基于远程计算或者基于服务器计算来传送一个或者多个应用到客户机102或者用户。在又一个实施例中，应用传送系统190可以通过应用流来传送一个或者多个应用到客户机或者用户。
在一个实施例中，应用传送系统190包括策略引擎195，其用于控制和管理对应用的访问、应用执行方法的选择以及应用的传送。在一些实施例中，策略引擎195确定用户或者客户机102可以访问的一个或者多个应用。在又一个实施例中，策略引擎195确定应用应该如何被传送到用户或者客户机102，例如执行方法。在一些实施例中，应用传送系统190提供多个传送技术，从中选择应用执行的方法，例如基于服务器的计算、本地流式传输或传送应用给客户机120以用于本地执行。
在一个实施例中，客户机102请求应用程序的执行并且包括服务器106的应用传送系统190选择执行应用程序的方法。在一些实施例中，服务器106从客户机102接收证书。在又一个实施例中，服务器106从客户机102接收对于可用应用的列举的请求。在一个实施例中，响应该请求或者证书的接收，应用传送系统190列举对于客户机102可用的多个应用程序。应用传送系统190接收执行所列举的应用的请求。应用传送系统190选择预定数量的方法之一来执行所列举的应用，例如响应策略引擎的策略。应用传送系统190可以选择执行应用的方法，使得客户机102接收通过执行服务器106上的应用程序所产生的应用输出数据。应用传送系统190可以选择执行应用的方法，使得本地机器10在检索包括应用的多个应用文件之后本地执行应用程序。在又一个实施例中，应用传送系统190可以选择执行应用的方法，以通过网络104流式传输应用到客户机102。
客户机102可以执行、操作或者以其它方式提供应用，所述应用可为任何类型和/或形式的软件、程序或者可执行指令，例如任何类型和/或形式的web浏览器、基于web的客户机、客户机－服务器应用、瘦客户端计算客户机、ActiveX控件、或者Java程序、或者可以在客户机102上执行的任何其它类型和/或形式的可执行指令。在一些实施例中，应用可以是代表客户机102在服务器106上执行的基于服务器或者基于远程的应用。在一个实施例中，服务器106可以使用任何瘦-客户端或远程显示协议来显示输出到客户机102，所述瘦-客户端或远程显示协议例如由位于佛罗里达州Ft.Lauderdale的Citrix Systems公司出品的独立计算架构（ICA）协议或由位于华盛顿州Redmond的微软公司出品的远程桌面协议（RDP）。应用可使用任何类型的协议，并且它可为，例如，HTTP客户机、FTP客户机、Oscar客户机或Telnet客户机。在其他实施例中，应用包括和VoIP通信相关的任何类型的软件，例如软IP电话。在进一步的实施例中，应用包括涉及到实时数据通信的任一应用，例如用于流式传输视频和/或音频的应用。
在一些实施例中，服务器106或服务器群38可运行一个或多个应用，例如提供瘦客户端计算或远程显示表示应用的应用。在一个实施例中，服务器106或服务器群38作为一个应用来执行Citrix Systems有限公司的CitrixAccess SuiteTM的任一部分（例如MetaFrame或Citrix Presentation ServerTM），和/或微软公司开发的Windows终端服务中的任何一个。在一个实施例中，该应用是位于佛罗里达州Fort Lauderdale的Citrix Systems有限公司开发的ICA客户机。在其他实施例中，该应用包括由位于华盛顿州Redmond的Microsoft公司开发的远程桌面（RDP）客户机。另外，服务器106可以运行一个应用，例如，其可以是提供电子邮件服务的应用服务器，例如由位于华盛顿州Redmond的Microsoft公司制造的Microsoft Exchange，web或Internet服务器，或者桌面共享服务器，或者协作服务器。在一些实施例中，任一应用可以包括任一类型的所寄载的服务或产品，例如位于加利福尼亚州SantaBarbara的Citrix Online Division公司提供的GoToMeetingTM，位于加利福尼亚州Santa Clara的WebEx有限公司提供的WebExTM，或者位于华盛顿州Redmond的Microsoft公司提供的Microsoft Office Live Meeting。
仍参考图1D，网络环境的一个实施例可以包括监控服务器106A。监控服务器106A可以包括任何类型和形式的性能监控服务198。性能监控服务198可以包括监控、测量和/或管理软件和/或硬件，包括数据收集、集合、分析、管理和报告。在一个实施例中，性能监控服务198包括一个或多个监控代理197。监控代理197包括用于在诸如客户机102、服务器106或设备200和205的装置上执行监控、测量和数据收集活动的任何软件、硬件或其组合。在一些实施例中，监控代理197包括诸如Visual Basic脚本或Javascript任何类型和形式的脚本。在一个实施例中，监控代理197相对于装置的任何应用和/或用户透明地执行。在一些实施例中，监控代理197相对于应用或客户机不显眼地被安装和操作。在又一个实施例中，监控代理197的安装和操作不需要用于该应用或装置的任何设备。
在一些实施例中，监控代理197以预定频率监控、测量和收集数据。在其他实施例中，监控代理197基于检测到任何类型和形式的事件来监控、测量和收集数据。例如，监控代理197可以在检测到对web页面的请求或收到HTTP响应时收集数据。在另一个实例中，监控代理197可以在检测到诸如鼠标点击的任一用户输入事件时收集数据。监控代理197可以报告或提供任何所监控、测量或收集的数据给监控服务198。在一个实施例中，监控代理197根据时间安排或预定频率来发送信息给监控服务198。在又一个实施例中，监控代理197在检测到事件时发送信息给监控服务198。
在一些实施例中，监控服务198和/或监控代理197对诸如客户机、服务器、服务器群、设备200、设备205或网络连接的任何网络资源或网络基础结构元件的进行监控和性能测量。在一个实施例中，监控服务198和/或监控代理197执行诸如TCP或UDP连接的任何传输层连接的监控和性能测量。在又一个实施例中，监控服务198和/或监控代理197监控和测量网络等待时间。在又一个实施例中，监控服务198和/或监控代理197监控和测量带宽利用。
在其他实施例中，监控服务198和/或监控代理197监控和测量终端用户响应时间。在一些实施例中，监控服务198执行应用的监控和性能测量。在又一个实施例中，监控服务198和/或监控代理197执行到应用的任何会话或连接的监控和性能测量。在一个实施例中，监控服务198和/或监控代理197监控和测量浏览器的性能。在又一个实施例中，监控服务198和/或监控代理197监控和测量基于HTTP的事务的性能。在一些实施例中，监控服务198和/或监控代理197监控和测量IP电话（VoIP）应用或会话的性能。在其他实施例中，监控服务198和/或监控代理197监控和测量诸如ICA客户机或RDP客户机的远程显示协议应用的性能。在又一个实施例中，监控服务198和/或监控代理197监控和测量任何类型和形式的流媒体的性能。在进一步的实施例中，监控服务198和/或监控代理197监控和测量所寄载的应用或软件即服务（Software-As-A-Service，SaaS）传送模型的性能。
在一些实施例中，监控服务198和/或监控代理197执行与应用相关的一个或多个事务、请求或响应的监控和性能测量。在其他实施例中，监控服务198和/或监控代理197监控和测量应用层堆栈的任何部分，例如任何.NET或J2EE调用。在一个实施例中，监控服务198和/或监控代理197监控和测量数据库或SQL事务。在又一个实施例中，监控服务198和/或监控代理197监控和测量任何方法、函数或应用编程接口（API）调用。
在一个实施例中，监控服务198和/或监控代理197对经由诸如设备200和/或设备205的一个或多个设备从服务器到客户机的应用和/或数据的传送进行监控和性能测量。在一些实施例中，监控服务198和/或监控代理197监控和测量虚拟化应用的传送的性能。在其他实施例中，监控服务198和/或监控代理197监控和测量流式应用的传送的性能。在又一个实施例中，监控服务198和/或监控代理197监控和测量传送桌面应用到客户机和/或在客户机上执行桌面应用的性能。在又一个实施例中，监控服务198和/或监控代理197监控和测量客户机/服务器应用的性能。
在一个实施例中，监控服务198和/或监控代理197被设计和构建成为应用传送系统190提供应用性能管理。例如，监控服务198和/或监控代理197可以监控、测量和管理经由Citrix表示服务器（Citrix Presentation Server）传送应用的性能。在该实例中，监控服务198和/或监控代理197监控单独的ICA会话。监控服务198和/或监控代理197可以测量总的以及每次的会话系统资源使用，以及应用和连网性能。监控服务198和/或监控代理197可以对于给定用户和/或用户会话来标识有效服务器（active server）。在一些实施例中，监控服务198和/或监控代理197监控在应用传送系统190和应用和/或数据库服务器之间的后端连接。监控服务198和/或监控代理197可以测量每个用户会话或ICA会话的网络等待时间、延迟和容量。
在一些实施例中，监控服务198和/或监控代理197测量和监控对于应用传送系统190的诸如总的存储器使用、每个用户会话和/或每个进程的存储器使用。在其他实施例中，监控服务198和/或监控代理197测量和监控诸如总的CPU使用、每个用户会话和/或每个进程的应用传送系统190的CPU使用。在又一个实施例中，监控服务198和/或监控代理197测量和监控登录到诸如Citrix表示服务器的应用、服务器或应用传送系统所需的时间。在一个实施例中，监控服务198和/或监控代理197测量和监控用户登录应用、服务器或应用传送系统190的持续时间。在一些实施例中，监控服务198和/或监控代理197测量和监控应用、服务器或应用传送系统会话的有效和无效的会话计数。在又一个实施例中，监控服务198和/或监控代理197测量和监控用户会话等待时间。
在另外的实施例中，监控服务198和/或监控代理197测量和监控任何类型和形式的服务器指标。在一个实施例中，监控服务198和/或监控代理197测量和监控与系统内存、CPU使用和盘存储器有关的指标。在又一个实施例中，监控服务198和/或监控代理197测量和监控和页错误有关的指标，诸如每秒页错误。在其他实施例中，监控服务198和/或监控代理197测量和监控往返时间的指标。在又一个实施例中，监控服务198和/或监控代理197测量和监控与应用崩溃、错误和/或中止相关的指标。
在一些实施例中，监控服务198和监控代理198包括由位于佛罗里达州Ft.Lauderdale的Citrix Systems公司出品的被称为EdgeSight的任何一种产品实施例。在又一个实施例中，性能监控服务198和/或监控代理198包括由位于加利福尼亚州Palo Alto的Symphoniq公司出品的被称为TrueView产品套件的产品实施例的任一部分。在一个实施例中，性能监控服务198和/或监控代理198包括由位于加利福尼亚州San Francisco的TeaLeaf技术公司出品的被称为TeaLeafCX产品套件的产品实施例的任何部分。在其他实施例中，性能监控服务198和/或监控代理198包括由位于德克萨斯州Houston的BMC软件公司出品的诸如BMC性能管理器和巡逻产品（BMC PerformanceManager and Patrol products）的商业服务管理产品的任何部分。
客户机102、服务器106和设备200可以被部署为和/或执行在任何类型和形式的计算装置上，诸如能够在任何类型和形式的网络上通信并执行此处描述的操作的计算机、网络装置或者设备。图1E和1F描述了可用于实施客户机102、服务器106或设备200的实施例的计算装置100的框图。如图1E和1F所示，每个计算装置100包括中央处理单元101和主存储器单元122。如图1E所示，计算装置100可以包括可视显示装置124、键盘126和/或诸如鼠标的指示装置127。每个计算装置100也可包括其它可选元件，例如一个或多个输入/输出装置130a－130b（总的使用附图标记130表示），以及与中央处理单元101通信的高速缓存存储器140。
中央处理单元101是响应并处理从主存储器单元122取出的指令的任何逻辑电路。在许多实施例中，中央处理单元由微处理器单元提供，例如：由加利福尼亚州Mountain View的Intel公司制造的微处理器单元；由伊利诺伊州Schaumburg的Motorola公司制造的微处理器单元；由加利福尼亚州SantaClara的Transmeta公司制造的微处理器单元；由纽约州White Plains的International Business Machines公司制造的RS/6000处理器;或者由加利福尼亚州Sunnyvale的Advanced Micro Devices公司制造的微处理器单元。计算装置100可以基于这些处理器中的任何一种，或者能够如此处所述方式运行的任何其它处理器。
主存储器单元122可以是能够存储数据并允许微处理器101直接访问任何存储位置的一个或多个存储器芯片，例如静态随机存取存储器(SRAM)、突发SRAM或同步突发SRAM（BSRAM）、动态随机存取存储器DRAM、快速页模式DRAM（FPM DRAM）、增强型DRAM（EDRAM）、扩展数据输出RAM（EDO RAM）、扩展数据输出DRAM（EDO DRAM）、突发式扩展数据输出DRAM（BEDO DRAM）、增强型DRAM（EDRAM）、同步DRAM（SDRAM）、JEDEC SRAM、PC100SDRAM、双数据速率SDRAM（DDRSDRAM）、增强型SRAM（ESDRAM）、同步链路DRAM（SLDRAM）、直接内存总线DRAM（DRDRAM）或铁电RAM（FRAM）。主存储器122可以基于上述存储芯片的任何一种，或者能够如此处所述方式运行的任何其它可用存储芯片。在图1E中所示的实施例中，处理器101通过系统总线150（在下面进行更详细的描述）与主存储器122进行通信。图1E描述了在其中处理器通过存储器端口103直接与主存储器122通信的计算装置100的实施例。例如，在图1F中，主存储器122可以是DRDRAM。
图1F描述了在其中主处理器101通过第二总线与高速缓存存储器140直接通信的实施例，第二总线有时也称为后端总线。其他实施例中，主处理器101使用系统总线150和高速缓存存储器140通信。高速缓存存储器140通常有比主存储器122更快的响应时间，并且通常由SRAM、BSRAM或EDRAM提供。在图1F中所示的实施例中，处理器101通过本地系统总线150与多个I/O装置130进行通信。可以使用各种不同的总线将中央处理单元101连接到任何I/O装置130，所述总线包括VESA VL总线、ISA总线、EISA总线、微通道体系结构（MCA）总线、PCI总线、PCI-X总线、PCI-Express总线或NuBus。对于I/O装置是视频显示器124的实施例，处理器101可以使用高级图形端口（AGP）与显示器124通信。图1F说明了主处理器101通过超传输（HyperTransport）、快速I/O或者InfiniBand直接与I/O装置130通信的计算机100的一个实施例。图1F还描述了在其中混合本地总线和直接通信的实施例：处理器101使用本地互连总线与I/O装置130b进行通信，同时直接与I/O装置130a进行通信。
计算装置100可以支持任何适当的安装装置116，例如用于接纳诸如3.5英寸、5.25英寸磁盘或ZIP磁盘这样的软盘的软盘驱动器、CD-ROM驱动器、CD-R/RW驱动器、DVD-ROM驱动器、各种格式的磁带驱动器、USB装置、硬盘驱动器或适于安装像任何客户机代理120或其部分的软件和程序的任何其它装置。计算装置100还可以包括存储装置128，诸如一个或者多个硬盘驱动器或者独立磁盘冗余阵列，用于存储操作系统和其它相关软件，以及用于存储诸如涉及客户机代理120的任何程序的应用软件程序。或者，可以使用安装装置116的任何一种作为存储装置128。此外，操作系统和软件可从例如可引导CD的可引导介质运行，诸如
Figure GDA00003006691300161
一种用于GNU/Linux的可引导CD，该可引导CD可自knoppix.net作为GNU/Linux一个分发版获得。
此外，计算装置100可以包括通过多种连接接口到局域网（LAN）、广域网（WAN）或因特网的网络接口118，所述多种连接包括但不限于标准电话线路、LAN或WAN链路（例如802.11，T1，T3、56kb、X.25）、宽带连接（如ISDN、帧中继、ATM）、无线连接、或上述任何或所有连接的一些组合。网络接口118可以包括内置网络适配器、网络接口卡、PCMCIA网络卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器或适用于将计算装置100接口到能够通信并执行这里所说明的操作的任何类型的网络的任何其它设备。计算装置100中可以包括各种I/O装置130a-130n。输入装置包括键盘、鼠标、触控板、轨迹球、麦克风和绘图板。输出装置包括视频显示器、扬声器、喷墨打印机、激光打印机和热升华打印机。如图1E所示，I/O装置130可以由I/O控制器123控制。I/O控制器可以控制一个或多个I/O装置，例如键盘126和指示装置127（如鼠标或光笔）。此外，I/O装置还可以为计算装置100提供存储装置128和/或安装介质116。在其他实施例中，计算装置100可以提供USB连接以接纳手持USB存储装置，例如由位于美国加利福尼亚州Los Alamitos的Twintech Industry有限公司生产的USB闪存驱动驱动系列装置。
在一些实施例中，计算装置100可以包括多个显示装置124a-124n或与其相连，这些显示装置各自可以是相同或不同的类型和/或形式。因而，任何一种I/O装置130a-130n和/或I/O控制器123可以包括任一类型和/或形式的适当的硬件、软件或硬件和软件的组合，以支持、允许或提供通过计算装置100连接和使用多个显示装置124a-124n。例如，计算装置100可以包括任何类型和/或形式的视频适配器、视频卡、驱动器和/或库，以与显示装置124a-124n接口、通信、连接或以其他方式使用显示装置。在一个实施例中，视频适配器可以包括多个连接器以与多个显示装置124a-124n接口。在其他实施例中，计算装置100可以包括多个视频适配器，每个视频适配器与显示装置124a-124n中的一个或多个连接。在一些实施例中，计算装置100的操作系统的任一部分都可以被配置用于使用多个显示器124a-124n。在其他实施例中，显示装置124a-124n中的一个或多个可以由一个或多个其它计算装置提供，诸如例如通过网络与计算装置100连接的计算装置100a和100b。这些实施例可以包括被设计和构造为将另一个计算机的显示装置用作计算装置100的第二显示装置124a的任一类型的软件。本领域的普通技术人员应认识和理解可以将计算装置100配置成具有多个显示装置124a-124n的各种方法和实施例。
在另外的实施例中，I/O装置130可以是系统总线150和外部通信总线之间的桥170，所述外部通信总线例如USB总线、Apple桌面总线、RS-232串行连接、SCSI总线、FireWire总线、FireWire800总线、以太网总线、AppleTalk总线、千兆位以太网总线、异步传输模式总线、HIPPI总线、超级HIPPI总线、SerialPlus总线、SCI/LAMP总线、光纤信道总线或串行SCSI总线。
图1E和1F中描述的那类计算装置100通常在控制任务的调度和对系统资源的访问的操作系统的控制下操作。计算装置100可以运行任何操作系统，如Windows操作系统，不同发行版本的Unix和Linux操作系统，用于Macintosh计算机的任何版本的MAC
Figure GDA00003006691300182
任何嵌入式操作系统，任何实时操作系统，任何开源操作系统，任何专有操作系统，任何用于移动计算装置的操作系统，或者任何其它能够在计算装置上运行并完成这里所述操作的操作系统。典型的操作系统包括：WINDOWS3.x、WINDOWS95、WINDOWS98、WINDOWS2000、WINDOWS NT3.51、WINDOWS NT4.0、WINDOWS CE和WINDOWS XP，所有这些均由位于华盛顿州Redmond的微软公司出品；由位于加利福尼亚州Cupertino的苹果计算机出品的MacOS；由位于纽约州Armonk的国际商业机器公司出品的OS/2；以及由位于犹他州Salt Lake City的Caldera公司发布的可免费使用的Linux操作系统或者任何类型和/或形式的Unix操作系统，以及其它。
在其他的实施例中，计算装置100可以有符合该装置的不同的处理器、操作系统和输入设备。例如，在一个实施例中，计算机100是由Palm公司出品的Treo180、270、1060、600或650智能电话。在该实施例中，Treo智能电话在PalmOS操作系统的控制下操作，并包括指示笔输入装置以及五向导航装置。此外，计算装置100可以是任何工作站、桌面计算机、膝上型或笔记本计算机、服务器、手持计算机、移动电话、任何其它计算机、或能够通信并有足够的处理器能力和存储容量以执行此处所述的操作的其它形式的计算或者电信装置。
如图1G所示，计算装置100可以包括多个处理器，可以提供用于对不只一个数据片同时执行多个指令或者同时执行一个指令的功能。在一些实施例中，计算装置100可包括具有一个或多个核的并行处理器。在这些实施例的一个中，计算装置100是共享内存并行设备，具有多个处理器和/或多个处理器核，将所有可用内存作为一个全局地址空间进行访问。在这些实施例的又一个中，计算装置100是分布式存储器并行设备，具有多个处理器，每个处理器访问本地存储器。在这些实施例的又一个中，计算装置100既有共享的存储器又有仅由特定处理器或处理器子集访问的存储器。在这些实施例的又一个中，如多核微处理器的计算装置100将两个或多个独立处理器组合在一个封装中，通常在一个集成电路（IC）中。在这些实施例的又一个中，计算装置100包括具有单元宽带引擎（CELL BROADBAND ENGINE）架构的芯片，并包括高能处理器单元以及多个协同处理单元，高能处理器单元和多个协同处理单元通过内部高速总线连接在一起，可以将内部高速总线称为单元互连总线。
在一些实施例中，处理器提供用于对多个数据片同时执行单个指令（SIMD）的功能。其他实施例中，处理器提供用于对多个数据片同时执行多个指令（MIMD）的功能。又一个实施例中，处理器可以在单个装置中使用SIMD和MIMD核的任意组合。
在一些实施例中，计算装置100可包括图像处理单元。图1H所示的在这些实施例的一个中，计算装置100包括至少一个中央处理单元101和至少一个图像处理单元。在这些实施例的又一个中，计算装置100包括至少一个并行处理单元和至少一个图像处理单元。在这些实施例的又一个中，计算装置100包括任意类型的多个处理单元，多个处理单元中的一个包括图像处理单元。
一些实施例中，第一计算装置100a代表客户计算装置100b的用户执行应用。又一个实施例中，计算装置100执行虚拟机，其提供执行会话，在该会话中，代表客户计算装置100b的用户执行应用。在这些实施例的一个中，执行会话是寄载的桌面会话。在这些实施例的又一个中，计算装置100执行终端服务会话。终端服务会话可以提供寄载的桌面环境。在这些实施例的又一个中，执行会话提供对计算环境的访问，该计算环境可包括以下的一个或多个：应用、多个应用、桌面应用以及可执行一个或多个应用的桌面会话。
B.设备架构
图2A示出设备200的一个示例实施例。提供图2A的设备200架构仅用于示例，并不意于作为限制性的架构。如图2所示，设备200包括硬件层206和被分为用户空间202和内核空间204的软件层。
硬件层206提供硬件元件，在内核空间204和用户空间202中的程序和服务在该硬件元件上被执行。硬件层206也提供结构和元件，就设备200而言，这些结构和元件允许在内核空间204和用户空间202内的程序和服务既在内部进行数据通信又与外部进行数据通信。如图2所示，硬件层206包括用于执行软件程序和服务的处理单元262，用于存储软件和数据的存储器264，用于通过网络传输和接收数据的网络端口266，以及用于执行与安全套接字协议层相关的功能处理通过网络传输和接收的数据的加密处理器260。在一些实施例中，中央处理单元262可在单独的处理器中执行加密处理器260的功能。另外，硬件层206可包括用于每个处理单元262和加密处理器260的多处理器。处理器262可以包括以上结合图1E和1F所述的任一处理器101。例如，在一个实施例中，设备200包括第一处理器262和第二处理器262’。在其他实施例中，处理器262或者262’包括多核处理器。
虽然示出的设备200的硬件层206通常带有加密处理器260，但是处理器260可为执行涉及任何加密协议的功能的处理器，例如安全套接字协议层（SSL）或者传输层安全（TLS）协议。在一些实施例中，处理器260可为通用处理器（GPP），并且在进一步的实施例中，可为用于执行任何安全相关协议处理的可执行指令。
虽然图2中设备200的硬件层206包括了某些元件，但是设备200的硬件部分或组件可包括计算装置的任何类型和形式的元件、硬件或软件，例如此处结合图1E和1F示出和讨论的计算装置100。在一些实施例中，设备200可包括服务器、网关、路由器、开关、桥接器或其它类型的计算或网络设备，并且拥有与此相关的任何硬件和/或软件元件。
设备200的操作系统分配、管理或另外分离可用的系统存储器到内核空间204和用户空间204。在示例的软件架构200中，操作系统可以是任何类型和/或形式的Unix操作系统，尽管本发明并未这样限制。这样，设备200可以运行任何操作系统，如任何版本的Windows操作系统、不同版本的Unix和Linux操作系统、用于Macintosh计算机的任何版本的Mac
Figure GDA00003006691300202
任何的嵌入式操作系统、任何的网络操作系统、任何的实时操作系统、任何的开放源操作系统、任何的专用操作系统、用于移动计算装置或网络装置的任何操作系统、或者能够运行在设备200上并执行此处所描述的操作的任何其它操作系统。
保留内核空间204用于运行内核230，内核230包括任何设备驱动器，内核扩展或其他内核相关软件。就像本领域技术人员所知的，内核230是操作系统的核心，并提供对资源以及设备104的相关硬件元件的访问、控制和管理。根据设备200的实施例，内核空间204也包括与高速缓存管理器232协同工作的多个网络服务或进程，高速缓存管理器232有时也称为集成的高速缓存，其益处此处将进一步详细描述。另外，内核230的实施例将依赖于通过设备200安装、配置或其他使用的操作系统的实施例。
在一个实施例中，设备200包括一个网络堆栈267，例如基于TCP/IP的堆栈，用于与客户机102和/或服务器106通信。在一个实施例中，使用网络堆栈267与第一网络（例如网络108）以及第二网络110通信。在一些实施例中，设备200终止第一传输层连接，例如客户机102的TCP连接，并建立客户机102使用的到服务器106的第二传输层连接，例如，终止在设备200和服务器106的第二传输层连接。可通过单独的网络堆栈267建立第一和第二传输层连接。在其他实施例中，设备200可包括多个网络堆栈，例如267或267’，并且在一个网络堆栈267可建立或终止第一传输层连接，在第二网络堆栈267’上可建立或者终止第二传输层连接。例如，一个网络堆栈可用于在第一网络上接收和传输网络分组，并且另一个网络堆栈用于在第二网络上接收和传输网络分组。在一个实施例中，网络堆栈267包括用于为一个或多个网络分组进行排队的缓冲器243，其中网络分组由设备200传输。
如图2A所示，内核空间204包括高速缓存管理器232、高速层2-7集成分组引擎240、加密引擎234、策略引擎236以及多协议压缩逻辑238。在内核空间204或内核模式而不是用户空间202中运行这些组件或进程232、240、234、236和238提高这些组件中的每个单独的和结合的性能。内核操作意味着这些组件或进程232、240、234、236和238在设备200的操作系统的核地址空间中运行。例如，在内核模式中运行加密引擎234通过移动加密和解密操作到内核可改进加密性能，从而可减少在内核模式中的存储空间或内核线程与在用户模式中的存储空间或线程之间的传输的数量。例如，在内核模式获得的数据可能不需要传输或拷贝到运行在用户模式的进程或线程，例如从内核级数据结构到用户级数据结构。在另一个方面，也可减少内核模式和用户模式之间的上下文切换的数量。另外，在任何组件或进程232、240、235、236和238间的同步和通信在内核空间204中可被执行的更有效率。
在一些实施例中，组件232、240、234、236和238的任何部分可在内核空间204中运行或操作，而这些组件232、240、234、236和238的其它部分可在用户空间202中运行或操作。在一个实施例中，设备200使用内核级数据结构来提供对一个或多个网络分组的任何部分的访问，例如，包括来自客户机102的请求或者来自服务器106的响应的网络分组。在一些实施例中，可以由分组引擎240通过到网络堆栈267的传输层驱动器接口或过滤器获得内核级数据结构。内核级数据结构可包括通过与网络堆栈267相关的内核空间204可访问的任何接口和/或数据、由网络堆栈267接收或发送的网络流量或分组。在其他实施例中，任何组件或进程232、240、234、236和238可使用内核级数据结构来执行组件或进程的需要的操作。在一个实例中，当使用内核级数据结构时，组件232、240、234、236和238在内核模式204中运行，而在又一个实施例中，当使用内核级数据结构时，组件232、240、234、236和238在用户模式中运行。在一些实施例中，内核级数据结构可被拷贝或传递到第二内核级数据结构，或任何期望的用户级数据结构。
高速缓存管理器232可包括软件、硬件或软件和硬件的任何组合，以提供对任何类型和形式的内容的高速缓存访问、控制和管理，例如对象或由源服务器106提供服务的动态产生的对象。由高速缓存管理器232处理和存储的数据、对象或内容可包括任何格式（例如标记语言）的数据，或者通过任何协议的通信的任何类型的数据。在一些实施例中，高速缓存管理器232复制存储在其他地方的原始数据或先前计算、产生或传输的数据，其中相对于读高速缓存存储器元件，需要更长的访问时间以取得、计算或以其他方式得到原始数据。一旦数据被存储在高速缓存存储元件中，通过访问高速缓存的副本而不是重新获得或重新计算原始数据即可进行后续操作，因此而减少了访问时间。在一些实施例中，高速缓存元件可以包括设备200的存储器264中的数据对象。在其他实施例中，高速缓存存储元件可包括有比存储器264更快的存取时间的存储器。在又一个实施例中，高速缓存元件可以包括设备200的任一类型和形式的存储元件，诸如硬盘的一部分。在一些实施例中，处理单元262可提供被高速缓存管理器232使用的高速缓存存储器。在又一个实施例中，高速缓存管理器232可使用存储器、存储区或处理单元的任何部分和组合来高速缓存数据、对象或其它内容。
另外，高速缓存管理器232包括用于执行此处描述的设备200的技术的任一实施例的任何逻辑、功能、规则或操作。例如，高速缓存管理器232包括基于无效时间周期的终止，或者从客户机102或服务器106接收无效命令使对象无效的逻辑或功能。在一些实施例中，高速缓存管理器232可作为在内核空间204中执行的程序、服务、进程或任务而操作，并且在其他实施例中，在用户空间202中执行。在一个实施例中，高速缓存管理器232的第一部分在用户空间202中执行，而第二部分在内核空间204中执行。在一些实施例中，高速缓存管理器232可包括任何类型的通用处理器（GPP），或任何其他类型的集成电路，例如现场可编程门阵列（FPGA），可编程逻辑设备（PLD），或者专用集成电路（ASIC）。
策略引擎236可包括例如智能统计引擎或其它可编程应用。在一个实施例中，策略引擎236提供配置机制以允许用户识别、指定、定义或配置高速缓存策略。策略引擎236，在一些实施例中，也访问存储器以支持数据结构，例如备份表或hash表，以启用用户选择的高速缓存策略决定。在其他实施例中，除了对安全、网络流量、网络访问、压缩或其它任何由设备200执行的功能或操作的访问、控制和管理之外，策略引擎236可包括任何逻辑、规则、功能或操作以确定和提供对设备200所高速缓存的对象、数据、或内容的访问、控制和管理。特定高速缓存策略的其他实施例此处进一步描述。
加密引擎234包括用于操控诸如SSL或TLS的任何安全相关协议或其中涉及的任何功能的处理的任何逻辑、商业规则、功能或操作。例如，加密引擎234加密并解密通过设备200传输的网络分组，或其任何部分。加密引擎234也可代表客户机102a-102n、服务器106a-106n或设备200来设置或建立SSL或TLS连接。因此，加密引擎234提供SSL处理的卸载和加速。在一个实施例中，加密引擎234使用隧道协议来提供在客户机102a-102n和服务器106a-106n间的虚拟专用网络。在一些实施例中，加密引擎234与加密处理器260通信。在其他实施例中，加密引擎234包括运行在加密处理器260上的可执行指令。
多协议压缩引擎238包括用于压缩一个或多个网络分组协议（例如被设备200的网络堆栈267使用的任何协议）的任何逻辑、商业规则、功能或操作。在一个实施例中，多协议压缩引擎238双向压缩在客户机102a-102n和服务器106a-106n间任一基于TCP/IP的协议，包括消息应用编程接口（MAPI）（电子邮件）、文件传输协议（FTP）、超文本传输协议（HTTP）、通用互联网文件系统（CIFS）协议（文件传输）、独立计算架构（ICA）协议、远程桌面协议（RDP）、无线应用协议（WAP）、移动IP协议以及互联网协议电话（VoIP）协议。在其他实施例中，多协议压缩引擎238提供基于超文本标记语言（HTML）的协议的压缩，并且在一些实施例中，提供任何标记语言的压缩，例如可扩展标记语言（XML）。在一个实施例中，多协议压缩引擎238提供任何高性能协议的压缩，例如设计用于设备200到设备200通信的任何协议。在又一个实施例中，多协议压缩引擎238使用修改的传输控制协议来压缩任何通信的任何载荷或任何通信，例如事务TCP（T/TCP）、带有选择确认的TCP（TCP-SACK）、带有大窗口的TCP（TCP-LW）、例如TCP-Vegas协议的拥塞预报协议以及TCP欺骗协议（TCP spoofing protocol）。
同样的，多协议压缩引擎238为用户加速经由桌面客户机乃至移动客户机访问应用的性能，所述桌面客户机例如Micosoft Outlook和非web瘦客户机，诸如由像Oracle、SAP和Siebel的通用企业应用所启动的任何客户机，所述移动客户机例如掌上电脑。在一些实施例中，通过在内核模式204内部执行并与访问网络堆栈267的分组处理引擎240集成，多协议压缩引擎238可以压缩TCP/IP协议携带的任何协议，例如任何应用层协议。
高速层2-7集成分组引擎240，通常也称为分组处理引擎，或分组引擎，负责设备200通过网络端口266接收和发送的分组的内核级处理的管理。高速层2-7集成分组引擎240可包括用于在例如接收网络分组和传输网络分组的处理期间排队一个或多个网络分组的缓冲器。另外，高速层2-7集成分组引擎240与一个或多个网络堆栈267通信以通过网络端口266发送和接收网络分组。高速层2-7集成分组引擎240与加密引擎234、高速缓存管理器232、策略引擎236和多协议压缩逻辑238协同工作。更具体地，配置加密引擎234以执行分组的SSL处理，配置策略引擎236以执行涉及流量管理的功能，例如请求级内容切换以及请求级高速缓存重定向，并配置多协议压缩逻辑238以执行涉及数据压缩和解压缩的功能。
高速层2-7集成分组引擎240包括分组处理定时器242。在一个实施例中，分组处理定时器242提供一个或多个时间间隔以触发输入处理，例如，接收或者输出（即传输）网络分组。在一些实施例中，高速层2-7集成分组引擎240响应于定时器242处理网络分组。分组处理定时器242向分组引擎240提供任何类型和形式的信号以通知、触发或传输时间相关的事件、间隔或发生。在许多实施例中，分组处理定时器242以毫秒级操作，例如100ms、50ms、或25ms。例如，在一些实例中，分组处理定时器242提供时间间隔或者以其它方式使得由高速层2-7集成分组引擎240以10ms时间间隔处理网络分组，而在其他实施例中，使高速层2-7集成分组引擎240以5ms时间间隔处理网络分组，并且在进一步的实施例中，短到3、2或1ms时间间隔。高速层2-7集成分组引擎240在操作期间可与加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238连接、集成或通信。因此，响应于分组处理定时器242和/或分组引擎240，可执行加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238的任何逻辑、功能或操作。因此，在由分组处理定时器242提供的时间间隔粒度，可执行加密引擎234、高速缓存管理器232、策略引擎236以及多协议压缩引擎238的任何逻辑、功能或操作，例如，时间间隔少于或等于10ms。例如，在一个实施例中，高速缓存管理器232可响应于高速层2-7集成分组引擎240和/或分组处理定时器242来执行任何高速缓存的对象的终止。在又一个实施例中，高速缓存的对象的终止或无效时间被设定为与分组处理定时器242的时间间隔相同的粒度级，例如每10ms。
与内核空间204不同，用户空间202是被用户模式应用或在用户模式运行的程序所使用的操作系统的存储区域或部分。用户模式应用不能直接访问内核空间204而使用服务调用以访问内核服务。如图2所示，设备200的用户空间202包括图形用户接口（GUI）210、命令行接口（CLI）212、壳服务（shell service）214、健康监控程序216以及守护（daemon）服务218。GUI210和CLI212提供系统管理员或其他用户可与之交互并控制设备200操作的装置，例如通过设备200的操作系统。GUI210和CLI212可包括运行在用户空间202或内核框架204中的代码。GUI210可以是任何类型或形式的图形用户接口，可以通过文本、图形或其他形式由任何类型的程序或应用（如浏览器）来呈现。CLI212可为任何类型和形式的命令行或基于文本的接口，例如通过操作系统提供的命令行。例如，CLI212可包括壳，该壳是使用户与操作系统相互作用的工具。在一些实施例中，可通过bash、csh、tcsh或者ksh类型的壳提供CLI212。壳服务214包括程序、服务、任务、进程或可执行指令以支持由用户通过GUI210和/或CLI212的与设备200或者操作系统的交互
健康监控程序216用于监控、检查、报告并确保网络系统正常运行，以及用户正通过网络接收请求的内容。健康监控程序216包括一个或多个程序、服务、任务、进程或可执行指令，为监控设备200的任何行为提供逻辑、规则、功能或操作。在一些实施例中，健康监控程序216拦截并检查通过设备200传递的任何网络流量。在其他实施例中，健康监控程序216通过任何合适的方法和/或机制与一个或多个下述设备连接：加密引擎234，高速缓存管理器232，策略引擎236，多协议压缩逻辑238，分组引擎240，守护服务218以及壳服务214。因此，健康监控程序216可调用任何应用编程接口（API）以确定设备200的任何部分的状态、情况或健康。例如，健康监控程序216可周期性地查验（ping）或发送状态查询以检查程序、进程、服务或任务是否活动并当前正在运行。在又一个实施例中，健康监控程序216可检查由任何程序、进程、服务或任务提供的任何状态、错误或历史日志以确定设备200任何部分的任何状况、状态或错误。
守护服务218是连续运行或在背景中运行的程序，并且处理设备200接收的周期性服务请求。在一些实施例中，守护服务可向其他程序或进程（例如合适的另一个守护服务218）转发请求。如本领域技术人员所公知的，守护服务218可无人监护的运行，以执行连续的或周期性的系统范围功能，例如网络控制，或者执行任何需要的任务。在一些实施例中，一个或多个守护服务218运行在用户空间202中，而在其他实施例中，一个或多个守护服务218运行在内核空间。
现参考图2B，描述了设备200的又一个实施例。总的来说，设备200提供下列服务、功能或操作中的一个或多个：用于一个或多个客户机102以及一个或多个服务器106之间的通信的SSL VPN连通280、交换/负载平衡284、域名服务解析286、加速288和应用防火墙290。服务器106的每一个可以提供一个或者多个网络相关服务270a-270n（称为服务270）。例如，服务器106可以提供http服务270。设备200包括一个或者多个虚拟服务器或者虚拟互联网协议服务器，称为vServer275、vS275、VIP服务器或者仅是VIP275a-275n（此处也称为vServer275）。vServer275根据设备200的配置和操作来接收、拦截或者以其它方式处理客户机102和服务器106之间的通信。
vServer275可以包括软件、硬件或者软件和硬件的任何组合。vServer275可包括在设备200中的用户模式202、内核模式204或者其任何组合中运行的任何类型和形式的程序、服务、任务、进程或者可执行指令。vServer275包括任何逻辑、功能、规则或者操作，以执行此处所述技术的任何实施例，诸如SSL VPN280、转换/负载平衡284、域名服务解析286、加速288和应用防火墙290。在一些实施例中，vServer275建立到服务器106的服务270的连接。服务275可以包括能够连接到设备200、客户机102或者vServer275并与之通信的任何程序、应用、进程、任务或者可执行指令集。例如，服务275可以包括web服务器、http服务器、ftp、电子邮件或者数据库服务器。在一些实施例中，服务270是守护进程或者网络驱动器，用于监听、接收和/或发送应用的通信，诸如电子邮件、数据库或者企业应用。在一些实施例中，服务270可以在特定的IP地址、或者IP地址和端口上通信。
在一些实施例中，vServer275应用策略引擎236的一个或者多个策略到客户机102和服务器106之间的网络通信。在一个实施例中，该策略与vServer275相关。在又一个实施例中，该策略基于用户或者用户组。在又一个实施例中，策略为通用的并且应用到一个或者多个vServer275a-275n，和通过设备200通信的任何用户或者用户组。在一些实施例中，策略引擎的策略具有基于通信的任何内容应用该策略的条件，通信的内容诸如互联网协议地址、端口、协议类型、分组中的头部或者字段、或者通信的上下文，诸如用户、用户组、vServer275、传输层连接、和/或客户机102或者服务器106的标识或者属性。
在其他实施例中，设备200与策略引擎236通信或接口，以便确定远程用户或远程客户机102的验证和/或授权，以访问来自服务器106的计算环境15、应用和/或数据文件。在又一个实施例中，设备200与策略引擎236通信或交互，以便确定远程用户或远程客户机102的验证和/或授权，使得应用传送系统190传送一个或多个计算环境15、应用和/或数据文件。在又一个实施例中，设备200基于策略引擎236对远程用户或远程客户机102的验证和/或授权建立VPN或SSL VPN连接。一个实施例中，设备200基于策略引擎236的策略控制网络流量以及通信会话。例如，基于策略引擎236，设备200可控制对计算环境15、应用或数据文件的访问。
在一些实施例中，vServer275与客户机102经客户机代理120建立传输层连接，诸如TCP或者UDP连接。在一个实施例中，vServer275监听和接收来自客户机102的通信。在其他实施例中，vServer275与客户机服务器106建立传输层连接，诸如TCP或者UDP连接。在一个实施例中，vServer275建立到运行在服务器106上的服务器270的互联网协议地址和端口的传输层连接。在又一个实施例中，vServer275将到客户机102的第一传输层连接与到服务器106的第二传输层连接相关联。在一些实施例中，vServer275建立到服务器106的传输层连接池并经由所述池化（pooled）的传输层连接多路复用客户机的请求。
在一些实施例中，设备200提供客户机102和服务器106之间的SSL VPN连接280。例如，第一网络102上的客户机102请求建立到第二网络104’上的服务器106的连接。在一些实施例中，第二网络104’是不能从第一网络104路由的。在其他实施例中，客户机102位于公用网络104上，并且服务器106位于专用网络104’上，例如企业网。在一个实施例中，客户机代理120拦截第一网络104上的客户机102的通信，加密该通信，并且经第一传输层连接发送该通信到设备200。设备200将第一网络104上的第一传输层连接与到第二网络104上的服务器106的第二传输层连接相关联。设备200接收来自客户机代理102的所拦截的通信，解密该通信，并且经第二传输层连接发送该通信到第二网络104上的服务器106。第二传输层连接可以是池化的传输层连接。同样的，设备200为两个网络104、104’之间的客户机102提供端到端安全传输层连接。
在一个实施例中，设备200寄载虚拟专用网络104上的客户机102的内部网互联网协议或者IntranetIP282地址。客户机102具有本地网络标识符，诸如第一网络104上的互联网协议（IP）地址和/或主机名称。当经设备200连接到第二网络104’时，设备200在第二网络104’上为客户机102建立、分配或者以其它方式提供IntranetIP，其是诸如IP地址和/或主机名称的网络标识符。使用为客户机的所建立的IntranetIP282，设备200在第二或专用网104’上监听并接收指向该客户机102的任何通信。在一个实施例中，设备200在第二专用网络104上用作或者代表客户机102。例如，在又一个实施例中，vServer275监听和响应到客户机102的IntranetIP282的通信。在一些实施例中，如果第二网络104’上的计算装置100发送请求，设备200如同客户机102一样来处理该请求。例如，设备200可以响应对客户机IntranetIP282的查验。在又一个实施例中，设备可以与请求和客户机IntranetIP282连接的第二网络104上的计算装置100建立连接，诸如TCP或者UDP连接。
在一些实施例中，设备200为客户机102和服务器106之间的通信提供下列一个或多个加速技术288：1）压缩；2）解压缩；3）传输控制协议池；4）传输控制协议多路复用；5）传输控制协议缓冲；以及6）高速缓存。在一个实施例中，设备200通过开启与每一服务器106的一个或者多个传输层连接并且维持这些连接以允许由客户机经因特网的重复数据访问，来为服务器106缓解由重复开启和关闭到客户机102的传输层连接所造成的大量处理负载。该技术此处称为“连接池”。
在一些实施例中，为了经池化的传输层连接无缝拼接从客户机102到服务器106的通信，设备200通过在传输层协议级修改序列号和确认号来转换或多路复用通信。这被称为“连接多路复用”。在一些实施例中，不需要应用层协议相互作用。例如，在到来分组（即，自客户机102接收的分组）的情况中，所述分组的源网络地址被改变为设备200的输出端口的网络地址，而目的网络地址被改为目的服务器的网络地址。在发出分组（即，自服务器106接收的一个分组）的情况中，源网络地址被从服务器106的网络地址改变为设备200的输出端口的网络地址，而目的地址被从设备200的网络地址改变为请求的客户机102的网络地址。分组的序列号和确认号也被转换为到客户机102的设备200的传输层连接上的客户机102所期待的序列号和确认。在一些实施例中，传输层协议的分组校验和被重新计算以计及这些转换。
在又一个实施例中，设备200为客户机102和服务器106之间的通信提供交换或负载平衡功能284。在一些实施例中，设备200根据层4或应用层请求数据来分布流量并将客户机请求定向到服务器106。在一个实施例中，尽管网络分组的网络层或者层2识别目的服务器106，但设备200通过承载为传输层分组的有效载荷的数据和应用信息来确定服务器106以便分发网络分组。在一个实施例中，设备200的健康监控程序216监控服务器的健康来确定分发客户机请求到哪个服务器106。在一些实施例中，如果设备200探测到某个服务器106不可用或者具有超过预定阈值的负载，设备200可以将客户机请求指向或者分发到另一个服务器106。
在一些实施例中，设备200用作域名服务（DNS）解析器或者以其它方式为来自客户机102的DNS请求提供解析。在一些实施例中，设备拦截由客户机102发送的DNS请求。在一个实施例中，设备200以设备200的IP地址或其所寄载的IP地址来响应客户机的DNS请求。在此实施例中，客户机102把用于域名的网络通信发送到设备200。在又一个实施例中，设备200以第二设备200’的或其所寄载的IP地址来响应客户机的DNS请求。在一些实施例中，设备200使用由设备200确定的服务器106的IP地址来响应客户机的DNS请求。
在又一个实施例中，设备200为客户机102和服务器106之间的通信提供应用防火墙功能290。在一个实施例中，策略引擎236提供用于探测和阻断非法请求的规则。在一些实施例中，应用防火墙290防御拒绝服务（DoS）攻击。在其他实施例中，设备检查所拦截的请求的内容，以识别和阻断基于应用的攻击。在一些实施例中，规则/策略引擎236包括用于提供对多个种类和类型的基于web或因特网的脆弱点的保护的一个或多个应用防火墙或安全控制策略，例如下列的一个或多个脆弱点：1）缓冲区泄出，2）CGI-BIN参数操纵，3）表单/隐藏字段操纵，4）强制浏览，5）cookie或会话中毒，6）被破坏的访问控制列表（ACLs）或弱密码，7）跨站脚本处理（XSS），8）命令注入，9）SQL注入，10）错误触发敏感信息泄露，11）对加密的不安全使用，12）服务器错误配置，13）后门和调试选项，14）网站涂改，15）平台或操作系统弱点，和16）零天攻击。在一个实施例中，对下列情况的一种或多种，应用防火墙290以检查或分析网络通信的形式来提供HTML格式字段的保护：1）返回所需的字段，2）不允许附加字段，3）只读和隐藏字段强制（enforcement），4）下拉列表和单选按钮字段的一致，以及5）格式字段最大长度强制。在一些实施例中，应用防火墙290确保cookie不被修改。在其他实施例中，应用防火墙290通过执行合法的URL来防御强制浏览。
在其他实施例中，应用防火墙290保护在网络通信中包含的任何机密信息。应用防火墙290可以根据引擎236的规则或策略来检查或分析任一网络通信以识别在网络分组的任一字段中的任一机密信息。在一些实施例中，应用防火墙290在网络通信中识别信用卡号、口令、社会保险号、姓名、病人代码、联系信息和年龄的一次或多次出现。网络通信的编码部分可以包括这些出现或机密信息。基于这些出现，在一个实施例中，应用防火墙290可以对网络通信采取策略行动，诸如阻止发送网络通信。在又一个实施例中，应用防火墙290可以重写、移动或者以其它方式掩盖该所识别的出现或者机密信息。
仍参考图2B，设备200可以包括如上面结合图1D所讨论的性能监控代理197。在一个实施例中，设备200从如图1D中所描述的监控服务198或监控服务器106中接收监控代理197。在一些实施例中，设备200在诸如磁盘的存储装置中保存监控代理197，以用于传送给与设备200通信的任何客户机或服务器。例如，在一个实施例中，设备200在接收到建立传输层连接的请求时发送监控代理197给客户机。在其他实施例中，设备200在建立与客户机102的传输层连接时发送监控代理197。在又一个实施例中，设备200在拦截或检测对web页面的请求时发送监控代理197给客户机。在又一个实施例中，设备200响应于监控服务器198的请求来发送监控代理197到客户机或服务器。在一个实施例中，设备200发送监控代理197到第二设备200’或设备205。
在其他实施例中，设备200执行监控代理197。在一个实施例中，监控代理197测量和监控在设备200上执行的任何应用、程序、进程、服务、任务或线程的性能。例如，监控代理197可以监控和测量vServers275A-275N的性能与操作。在又一个实施例中，监控代理197测量和监控设备200的任何传输层连接的性能。在一些实施例中，监控代理197测量和监控通过设备200的任何用户会话的性能。在一个实施例中，监控代理197测量和监控通过设备200的诸如SSL VPN会话的任何虚拟专用网连接和/或会话的性能。在进一步的实施例中，监控代理197测量和监控设备200的内存、CPU和磁盘使用以及性能。在又一个实施例中，监控代理197测量和监控诸如SSL卸载、连接池和多路复用、高速缓存以及压缩的由设备200执行的任何加速技术288的性能。在一些实施例中，监控代理197测量和监控由设备200执行的任一负载平衡和/或内容交换284的性能。在其他实施例中，监控代理197测量和监控由设备200执行的应用防火墙290保护和处理的性能。
C.客户机代理
现参考图3，描述客户机代理120的实施例。客户机102包括客户机代理120，用于经由网络104与设备200和/或服务器106来建立和交换通信。总的来说，客户机102在计算装置100上操作，该计算装置100拥有带有内核模式302以及用户模式303的操作系统，以及带有一个或多个层310a-310b的网络堆栈310。客户机102可以已经安装和/或执行一个或多个应用。在一些实施例中，一个或多个应用可通过网络堆栈310与网络104通信。所述应用之一，诸如web浏览器，也可包括第一程序322。例如，可在一些实施例中使用第一程序322来安装和/或执行客户机代理120，或其中任何部分。客户机代理120包括拦截机制或者拦截器350，用于从网络堆栈310拦截来自一个或者多个应用的网络通信。
客户机102的网络堆栈310可包括任何类型和形式的软件、或硬件或其组合，用于提供与网络的连接和通信。在一个实施例中，网络堆栈310包括用于网络协议组的软件实现。网络堆栈310可包括一个或多个网络层，例如为本领域技术人员所公认和了解的开放式系统互联（OSI）通信模型的任何网络层。这样，网络堆栈310可包括用于任何以下OSI模型层的任何类型和形式的协议：1）物理链路层；2）数据链路层；3）网络层；4）传输层；5）会话层）；6）表示层，以及7）应用层。在一个实施例中，网络堆栈310可包括在因特网协议（IP）的网络层协议上的传输控制协议（TCP），通常称为TCP/IP。在一些实施例中，可在以太网协议上承载TCP/IP协议，以太网协议可包括IEEE广域网（WAN）或局域网（LAN）协议的任何族，例如被IEEE802.3覆盖的这些协议。在一些实施例中，网络堆栈310包括任何类型和形式的无线协议，例如IEEE802.11和/或移动因特网协议。
考虑基于TCP/IP的网络，可使用任何基于TCP/IP的协议，包括消息应用编程接口（MAPI）（email）、文件传输协议（FTP）、超文本传输协议（HTTP）、通用因特网文件系统（CIFS）协议（文件传输）、独立计算架构（ICA）协议、远程桌面协议（RDP）、无线应用协议（WAP）、移动IP协议，以及互联网协议电话（VoIP）协议。在又一个实施例中，网络堆栈310包括任何类型和形式的传输控制协议，诸如修改的传输控制协议，例如事务TCP（T/TCP），带有选择确认的TCP（TCP-SACK），带有大窗口的TCP（TCP-LW），例如TCP-Vegas协议的拥塞预测协议，以及TCP欺骗协议。在其他实施例中，网络堆栈310可使用诸如基于IP的UDP的任何类型和形式的用户数据报协议（UDP），例如用于语音通信或实时数据通信。
另外，网络堆栈310可包括支持一个或多个层的一个或多个网络驱动器，例如TCP驱动器或网络层驱动器。网络层驱动器可作为计算装置100的操作系统的一部分或者作为计算装置100的任何网络接口卡或其它网络访问组件的一部分被包括。在一些实施例中，网络堆栈310的任何网络驱动器可被定制、修改或调整以提供网络堆栈310的定制或修改部分，用来支持此处描述的任何技术。在其他实施例中，设计并构建加速程序302以与网络堆栈310协同操作或工作，上述网络堆栈310由客户机102的操作系统安装或以其它方式提供。
网络堆栈310包括任何类型和形式的接口，用于接收、获得、提供或以其它方式访问涉及客户机102的网络通信的任何信息和数据。在一个实施例中，与网络堆栈310的接口包括应用编程接口（API）。接口也可包括任何函数调用、钩子或过滤机制，事件或回调机制、或任何类型的接口技术。网络堆栈310通过接口可接收或提供与网络堆栈310的功能或操作相关的任何类型和形式的数据结构，例如对象。例如，数据结构可以包括与网络分组相关的信息和数据或者一个或多个网络分组。在一些实施例中，数据结构包括在网络堆栈310的协议层处理的网络分组的一部分，例如传输层的网络分组。在一些实施例中，数据结构325包括内核级别数据结构，而在其他实施例中，数据结构325包括用户模式数据结构。内核级数据结构可以包括获得的或与在内核模式302中操作的网络堆栈310的一部分相关的数据结构、或者运行在内核模式302中的网络驱动程序或其它软件、或者由运行或操作在操作系统的内核模式的服务、进程、任务、线程或其它可执行指令获得或收到的任何数据结构。
此外，网络堆栈310的一些部分可在内核模式302执行或操作，例如，数据链路或网络层，而其他部分在用户模式303执行或操作，例如网络堆栈310的应用层。例如，网络堆栈的第一部分310a可以给应用提供对网络堆栈310的用户模式访问，而网络堆栈310的第二部分310a提供对网络的访问。在一些实施例中，网络堆栈的第一部分310a可包括网络堆栈310的一个或多个更上层，例如层5-7的任何层。在其他实施例中，网络堆栈310的第二部分310b包括一个或多个较低的层，例如层1-4的任何层。网络堆栈310的每个第一部分310a和第二部分310b可包括网络堆栈310的任何部分，位于任何一个或多个网络层，处于用户模式203、内核模式202，或其组合，或在网络层的任何部分或者到网络层的接口点，或用户模式203和内核模式202的任何部分或到用户模式203和内核模式202的接口点。
拦截器350可以包括软件、硬件、或者软件和硬件的任何组合。在一个实施例中，拦截器350在网络堆栈310的任一点拦截网络通信，并且重定向或者发送网络通信到由拦截器350或者客户机代理120所期望的、管理的或者控制的目的地。例如，拦截器350可以拦截第一网络的网络堆栈310的网络通信并且发送该网络通信到设备200，用于在第二网络104上发送。在一些实施例中，拦截器350包括含有诸如被构建和设计来与网络堆栈310对接并一同工作的网络驱动器的驱动器的任一类型的拦截器350。在一些实施例中，客户机代理120和/或拦截器350操作在网络堆栈310的一个或者多个层，诸如在传输层。在一个实施例中，拦截器350包括过滤器驱动器、钩子机制、或者连接到网络堆栈的传输层的任一形式和类型的合适网络驱动器接口，诸如通过传输驱动器接口（TDI）。在一些实施例中，拦截器350连接到诸如传输层的第一协议层和诸如传输协议层之上的任何层的另一个协议层，例如，应用协议层。在一个实施例中，拦截器350可以包括遵守网络驱动器接口规范（NDIS）的驱动器，或者NDIS驱动器。在又一个实施例中，拦截器350可以包括微型过滤器或者微端口驱动器。在一个实施例中，拦截器350或其部分在内核模式202中操作。在又一个实施例中，拦截器350或其部分在用户模式203中操作。在一些实施例中，拦截器350的一部分在内核模式202中操作，而拦截器350的另一部分在用户模式203中操作。在其他实施例中，客户机代理120在用户模式203操作，但通过拦截器350连接到内核模式驱动器、进程、服务、任务或者操作系统的部分，诸如以获取内核级数据结构225。在其他实施例中，拦截器350为用户模式应用或者程序，诸如应用。
在一个实施例中，拦截器350拦截任何的传输层连接请求。在这些实施例中，拦截器350执行传输层应用编程接口（API）调用以设置目的地信息，诸如到期望位置的目的地IP地址和/或端口用于定位。以此方式，拦截器350拦截并重定向传输层连接到由拦截器350或客户机代理120控制或管理的IP地址和端口。在一个实施例中，拦截器350把连接的目的地信息设置为客户机代理120监听的客户机102的本地IP地址和端口。例如，客户机代理120可以包括为重定向的传输层通信监听本地IP地址和端口的代理服务。在一些实施例中，客户机代理120随后将重定向的传输层通信传送到设备200。
在一些实施例中，拦截器350拦截域名服务（DNS）请求。在一个实施例中，客户机代理120和/或拦截器350解析DNS请求。在又一个实施例中，拦截器发送所拦截的DNS请求到设备200以进行DNS解析。在一个实施例中，设备200解析DNS请求并且将DNS响应传送到客户机代理120。在一些实施例中，设备200经另一个设备200’或者DNS服务器106来解析DNS请求。
在又一个实施例中，客户机代理120可以包括两个代理120和120’。在一个实施例中，第一代理120可以包括在网络堆栈310的网络层操作的拦截器350。在一些实施例中，第一代理120拦截网络层请求，诸如因特网控制消息协议（ICMP）请求（例如，查验和跟踪路由）。在其他实施例中，第二代理120’可以在传输层操作并且拦截传输层通信。在一些实施例中，第一代理120在网络堆栈210的一层拦截通信并且与第二代理120’连接或者将所拦截的通信传送到第二代理120’。
客户机代理120和/或拦截器350可以以对网络堆栈310的任何其它协议层透明的方式在协议层操作或与之对接。例如，在一个实施例中，拦截器350可以以对诸如网络层的传输层之下的任何协议层和诸如会话、表示或应用层协议的传输层之上的任何协议层透明的方式在网络堆栈310的传输层操作或与之对接。这允许网络堆栈310的其它协议层如所期望的进行操作并无需修改以使用拦截器350。这样，客户机代理120和/或拦截器350可以与传输层连接以安全、优化、加速、路由或者负载平衡经由传输层承载的任一协议提供的任一通信，诸如TCP/IP上的任一应用层协议。
此外，客户机代理120和/或拦截器可以以对任何应用、客户机102的用户和与客户机102通信的诸如服务器的任何其它计算装置透明的方式在网络堆栈310上操作或与之对接。客户机代理120和/或拦截器350可以以无需修改应用的方式被安装和/或执行在客户机102上。在一些实施例中，客户机102的用户或者与客户机102通信的计算装置未意识到客户机代理120和/或拦截器350的存在、执行或者操作。同样，在一些实施例中，相对于应用、客户机102的用户、诸如服务器的另一个计算装置、或者在由拦截器350连接的协议层之上和/或之下的任何协议层透明地来安装、执行和/或操作客户机代理120和/或拦截器350。
客户机代理120包括加速程序302、流客户机306、收集代理304和/或监控代理197。在一个实施例中，客户机代理120包括由佛罗里达州FortLauderdale的Citrix Systems Inc.开发的独立计算架构（ICA）客户机或其任一部分，并且也指ICA客户机。在一些实施例中，客户机代理120包括应用流客户机306，用于从服务器106流式传输应用到客户机102。在一些实施例中，客户机代理120包括加速程序302，用于加速客户机102和服务器106之间的通信。在又一个实施例中，客户机代理120包括收集代理304，用于执行端点检测/扫描并且用于为设备200和/或服务器106收集端点信息。
在一些实施例中，加速程序302包括用于执行一个或多个加速技术的客户机侧加速程序，以加速、增强或者以其他方式改善客户机与服务器106的通信和/或对服务器106的访问，诸如访问由服务器106提供的应用。加速程序302的可执行指令的逻辑、函数和/或操作可以执行一个或多个下列加速技术：1）多协议压缩，2）传输控制协议池，3）传输控制协议多路复用，4）传输控制协议缓冲，以及5）通过高速缓存管理器的高速缓存。另外，加速程序302可执行由客户机102接收和/或发送的任何通信的加密和/或解密。在一些实施例中，加速程序302以集成的方式或者格式执行一个或者多个加速技术。另外，加速程序302可以对作为传输层协议的网络分组的有效载荷所承载的任一协议或者多协议执行压缩。
流客户机306包括应用、程序、进程、服务、任务或者可执行指令，所述应用、程序、进程、服务、任务或者可执行指令用于接收和执行从服务器106所流式传输的应用。服务器106可以流式传输一个或者多个应用数据文件到流客户机306，用于播放、执行或者以其它方式引起客户机102上的应用被执行。在一些实施例中，服务器106发送一组压缩或者打包的应用数据文件到流客户机306。在一些实施例中，多个应用文件被压缩并存储在文件服务器上档案文件中，例如CAB、ZIP、SIT、TAR、JAR或其它档案文件。在一个实施例中，服务器106解压缩、解包或者解档应用文件并且将该文件发送到客户机102。在又一个实施例中，客户机102解压缩、解包或者解档应用文件。流客户机306动态安装应用或其部分，并且执行该应用。在一个实施例中，流客户机306可以为可执行程序。在一些实施例中，流客户机306可以能够启动另一个可执行程序。
收集代理304包括应用、程序、进程、服务、任务或者可执行指令，用于识别、获取和/或收集关于客户机102的信息。在一些实施例中，设备200发送收集代理304到客户机102或者客户机代理120。可以根据设备的策略引擎236的一个或多个策略来配置收集代理304。在其他实施例中，收集代理304发送在客户机102上收集的信息到设备200。在一个实施例中，设备200的策略引擎236使用所收集的信息来确定和提供到网络104的客户机连接的访问、验证和授权控制。
在一个实施例中，收集代理304包括端点检测和扫描机制，其识别并且确定客户机的一个或者多个属性或者特征。例如，收集代理304可以识别和确定任何一个或多个以下的客户机侧属性：1）操作系统和/或操作系统的版本，2）操作系统的服务包，3）运行的服务，4）运行的进程，和5）文件。收集代理304还可以识别并确定客户机上任何一个或多个以下软件的存在或版本：1）防病毒软件；2）个人防火墙软件；3）防垃圾邮件软件，和4）互联网安全软件。策略引擎236可以具有基于客户机或客户机侧属性的任何一个或多个属性或特性的一个或多个策略。
在一些实施例中，客户机代理120包括如结合图1D和2B所讨论的监控代理197。监控代理197可以是诸如Visual Basic或Java脚本的任何类型和形式的脚本。在一个实施例中，监控代理197监控和测量客户机代理120的任何部分的性能。例如，在一些实施例中，监控代理197监控和测量加速程序302的性能。在又一个实施例中，监控代理197监控和测量流客户机306的性能。在其他实施例中，监控代理197监控和测量收集代理304的性能。在又一个实施例中，监控代理197监控和测量拦截器350的性能。在一些实施例中，监控代理197监控和测量客户机102的诸如存储器、CPU和磁盘的任何资源。
监控代理197可以监控和测量客户机的任何应用的性能。在一个实施例中，监控代理197监控和测量客户机102上的浏览器的性能。在一些实施例中，监控代理197监控和测量经由客户机代理120传送的任何应用的性能。在其他实施例中，监控代理197测量和监控应用的最终用户响应时间，例如基于web的响应时间或HTTP响应时间。监控代理197可以监控和测量ICA或RDP客户机的性能。在又一个实施例中，监控代理197测量和监控用户会话或应用会话的指标。在一些实施例中，监控代理197测量和监控ICA或RDP会话。在一个实施例中，监控代理197测量和监控设备200在加速传送应用和/或数据到客户机102的过程中的性能。
在一些实施例中，仍参考图3，第一程序322可以用于自动地、静默地、透明地或者以其它方式安装和/或执行客户机代理120或其部分，诸如拦截器350。在一个实施例中，第一程序322包括插件组件，例如ActiveX控件或Java控件或脚本，其加载到应用并由应用执行。例如，第一程序包括由web浏览器应用载入和运行的ActiveX控件，例如在存储器空间或应用的上下文中。在又一个实施例中，第一程序322包括可执行指令组，该可执行指令组被例如浏览器的应用载入并执行。在一个实施例中，第一程序322包括被设计和构造的程序以安装客户机代理120。在一些实施例中，第一程序322通过网络从另一个计算装置获得、下载、或接收客户机代理120。在又一个实施例中，第一程序322是用于在客户机102的操作系统上安装如网络驱动的程序的安装程序或即插即用管理器。
D.用于提供虚拟化应用传送控制器的系统和方法
现参考图4A，该框图描述虚拟化环境400的一个实施例。总体而言，计算装置100包括管理程序层、虚拟化层和硬件层。管理程序层包括管理程序401（也称为虚拟化管理器），其通过在虚拟化层中执行的至少一个虚拟机来分配和管理对硬件层中的多个物理资源（例如处理器421和盘428）的访问。虚拟化层包括至少一个操作系统410和分配给至少一个操作系统410的多个虚拟资源。虚拟资源可包括而不限于多个虚拟处理器432a、432b、432c（总称为432）和虚拟盘442a、442b、442c（总称为442），以及如虚拟存储器和虚拟网络接口的虚拟资源。可将多个虚拟资源和操作系统称为虚拟机406。虚拟机406可包括控制操作系统405，该控制操作系统405与管理程序401通信，并用于执行应用以管理并配置计算装置100上的其他虚拟机。
具体而言，管理程序401可以以模拟可访问物理设备的操作系统的任何方式向操作系统提供虚拟资源。管理程序401可以向任何数量的客户操作系统410a、410b（总称为410）提供虚拟资源。一些实施例中，计算装置100执行一种或多种管理程序。这些实施例中，管理程序可用于模拟虚拟硬件、划分物理硬件、虚拟化物理硬件并执行提供对计算环境的访问的虚拟机。管理程序可包括由位于美国加州的Palo Alto的VMWare制造的这些程序；XEN管理程序（一种开源产品，其开发由开源Xen.org协会监管）；由微软公司提供的HyperV、VirtualServer或虚拟PC管理程序，或其他。一些实施例中，计算装置100执行创建客户操作系统可在其上执行虚拟机平台的管理程序，该计算装置100被称为宿主服务器。在这些实施例的一个中，例如，计算装置100是由位于美国佛罗里达州Fort Lauderdale的Citrix Systems有限公司提供的XEN SERVER。
一些实施例中，管理程序401在计算装置上执行的操作系统之内执行。在这些实施例的一个中，执行操作系统和管理程序401的计算装置可被视为具有宿主操作系统（执行在计算装置上的操作系统），和客户操作系统（在由管理程序401提供的计算资源分区内执行的操作系统）。其他实施例中，管理程序401和计算装置上的硬件直接交互而不是在宿主操作系统上执行。在这些实施例的一个中，管理程序401可被视为在“裸金属（bare metal）”上执行，所述“裸金属”指包括计算装置的硬件。
一些实施例中，管理程序401可以产生操作系统410在其中执行的虚拟机406a-c（总称为406）。在这些实施例的一个中，管理程序401加载虚拟机映像以创建虚拟机406。在这些实施例的又一个中，管理程序401在虚拟机406内执行操作系统410。仍在这些实施例的又一个中，虚拟机406执行操作系统410。
一些实施例中，管理程序401控制在计算装置100上执行的虚拟机406的处理器调度和内存划分。在这些实施例的一个中，管理程序401控制至少一个虚拟机406的执行。在这些实施例的又一个中，管理程序401向至少一个虚拟机406呈现由计算装置100提供的至少一个硬件资源的抽象。其他实施例中，管理程序401控制是否以及如何将物理处理器能力呈现给虚拟机406。
控制操作系统405可以执行用于管理和配置客户操作系统的至少一个应用。一个实施例中，控制操作系统405可以执行管理应用，如包括如下用户接口的应用，该用户接口为管理员提供对用于管理虚拟机执行的功能的访问，这些功能包括用于执行虚拟机、中止虚拟机执行或者识别要分配给虚拟机的物理资源类型的功能。又一个实施例中，管理程序401在由管理程序401创建的虚拟机406内执行控制操作系统405。又一个实施例中，控制操作系统405在被授权直接访问计算装置100上的物理资源的虚拟机406上执行。一些实施例中，计算装置100a上的控制操作系统405a可以通过管理程序401a和管理程序401b之间的通信与计算装置100b上的控制操作系统405b交换数据。这样，一个或多个计算装置100可以和一个或多个其他计算装置100交换有关处理器或资源池中可用的其他物理资源的数据。在这些实施例的一个中，这种功能允许管理程序管理分布在多个物理计算装置上的资源池。在这些实施例的又一个中，多个管理程序管理在一个计算装置100上执行的一个或多个客户操作系统。
一个实施例中，控制操作系统405在被授权与至少一个客户操作系统410交互的虚拟机406上执行。又一个实施例中，客户操作系统410通过管理程序401和控制操作系统405通信，以请求访问盘或网络。仍在又一个实施例中，客户操作系统410和控制操作系统405可通过由管理程序401建立的通信信道通信，例如，通过由管理程序401提供的多个共享存储器页面。
一些实施例中，控制操作系统405包括用于直接与由计算装置100提供的网络硬件通信的网络后端驱动器。在这些实施例的一个中，网络后端驱动器处理来自至少一个客户操作系统110的至少一个虚拟机请求。其他实施例中，控制操作系统405包括用于与计算装置100上的存储元件通信的块后端驱动器。在这些实施例的一个中，块后端驱动器基于从客户操作系统410接收的至少一个请求从存储元件读写数据。
一个实施例，控制操作系统405包括工具堆栈404。其他实施例中，工具堆栈404提供如下功能：和管理程序401交互、和其他控制操作系统405（例如位于第二计算装置100b上）通信，或者管理计算装置100上的虚拟机406b、406c。又一个实施例中，工具堆栈404包括自定义应用，其用于向虚拟机群的管理员提供改进的管理功能。一些实施例中，工具堆栈404和控制操作系统405中的至少一个包括管理API，其提供用于远程配置并控制计算装置100上运行的虚拟机406的接口。其他实施例中，控制操作系统405通过工具堆栈404和管理程序401通信。
一个实施例中，管理程序401在由管理程序401创建的虚拟机406内执行客户操作系统410。又一个实施例中，客户操作系统410为计算装置100的用户提供对计算环境中的资源的访问。又一个实施例中，资源包括程序、应用、文档、文件、多个应用、多个文件、可执行程序文件、桌面环境、计算环境或对计算装置100的用户可用的其他资源。又一个实施例中，可通过多个访问方法将资源传送给计算装置100，这些方法包括但不限于：常规的直接在计算装置100上安装、通过应用流的方法传送给计算装置100、将由在第二计算装置100’上执行资源产生的并通过表示层协议传送给计算装置100的输出数据传送给计算装置100、将通过在第二计算装置100’上执行的虚拟机执行资源所产生的输出数据传送给计算装置100、或者从连接到计算装置100的移动存储装置（例如USB设备）执行或者通过在计算装置100上执行的虚拟机执行并且产生输出数据。一些实施例中，计算装置100将执行资源所产生的输出数据传输给另一个计算装置100’。
一个实施例中，客户操作系统410和该客户操作系统410在其上执行的虚拟机结合形成完全虚拟化虚拟机，该完全虚拟化虚拟机并不知道自己是虚拟机，这样的机器可称为“Domain U HVM（硬件虚拟机）虚拟机”。又一个实施例中，完全虚拟化机包括模拟基本输入/输出系统（BIOS）的软件以便在完全虚拟化机中执行操作系统。在又一个实施例中，完全虚拟化机可包括驱动器，其通过和管理程序401通信提供功能。这样的实施例中，驱动器可意识到自己在虚拟化环境中执行。又一个实施例中，客户操作系统410和该客户操作系统410在其上执行的虚拟机结合形成超虚拟化（paravirtualized）虚拟机，该超虚拟化虚拟机意识到自己是虚拟机，这样的机器可称为“DomainU PV虚拟机”。又一个实施例中，超虚拟化机包括完全虚拟化机不包括的额外驱动器。又一个实施例中，超虚拟化机包括如上所述的被包含在控制操作系统405中的网络后端驱动器和块后端驱动器。
现参考图4B，框图描述了系统中的多个联网计算装置的一个实施例，其中，至少一个物理主机执行虚拟机。总体而言，系统包括管理组件404和管理程序401。系统包括多个计算装置100、多个虚拟机406、多个管理程序401、多个管理组件（又称为工具堆栈404或者管理组件404）以及物理资源421、428。多个物理机器100的每一个可被提供为如上结合图1E-1H和图4A描述的计算装置100。
具体而言，物理盘428由计算装置100提供，存储至少一部分虚拟盘442。一些实施例中，虚拟盘442和多个物理盘428相关联。在这些实施例的一个中，一个或多个计算装置100可以与一个或多个其他计算装置100交换有关处理器或资源池中可用的其他物理资源的数据，允许管理程序管理分布在多个物理计算装置上的资源池。一些实施例中，将虚拟机406在其上执行的计算装置100称为物理主机100或主机100。
管理程序在计算装置100上的处理器上执行。管理程序将对物理盘的访问量分配给虚拟盘。一个实施例中，管理程序401分配物理盘上的空间量。又一个实施例中，管理程序401分配物理盘上的多个页面。一些实施例中，管理程序提供虚拟盘442作为初始化和执行虚拟机450进程的一部分。
一个实施例中，将管理组件404a称为池管理组件404a。又一个实施例中，可以称为控制管理系统405a的管理操作系统405a包括管理组件。一些实施例中，将管理组件称为工具堆栈。在这些实施例的一个中，管理组件是上文结合图4A描述的工具堆栈404。其他实施例中，管理组件404提供用户接口，用于从如管理员的用户接收要供应和/或执行的虚拟机406的标识。仍在其他实施例中，管理组件404提供用户接口，用于从如管理员的用户接收将虚拟机406b从一个物理机器100迁移到另一物理机器的请求。在进一步的实施例中，管理组件404a识别在其上执行所请求的虚拟机406d的计算装置100b并指示所识别的计算装置100b上的管理程序401b执行所识别的虚拟机，这样，可将管理组件称为池管理组件。
现参考图4C，描述了虚拟应用传送控制器或虚拟设备450的实施例。总体而言，上文结合图2A和2B描述的设备200的任何功能和/或实施例（例如应用传送控制器）可以部署在上文结合图4A和4B描述的虚拟化环境的任何实施例中。应用传送控制器的功能不是以设备200的形式部署，而是将该功能部署在诸如客户机102、服务器106或设备200的任何计算装置100上的虚拟化环境400中。
现在参考图4C，描述了在服务器106的管理程序401上操作的虚拟设备450的实施例的框图。如图2A和2B的设备200一样，虚拟机450可以提供可用性、性能、卸载和安全的功能。对于可用性，虚拟设备可以执行网络第4层和第7层之间的负载平衡并执行智能服务健康监控。对于通过网络流量加速实现的性能增加，虚拟设备可以执行缓存和压缩。对于任何服务器的卸载处理，虚拟设备可以执行连接复用和连接池和/或SSL处理。对于安全，虚拟设备可以执行设备200的任何应用防火墙功能和SSL VPN功能。
结合附图2A描述的设备200的任何模块可以虚拟化设备传送控制器450的形式被打包、组合、设计或构造，虚拟化设备传送控制器450可部署成在诸如流行的服务器这样的任何服务器上的虚拟化环境300或非虚拟化环境中执行的软件模块或组件。例如，可以安装在计算装置上的安装包的形式提供虚拟设备。参考图2A，可以将高速缓存管理器232、策略引擎236、压缩238、加密引擎234、分组引擎240、GUI210、CLI212、壳服务214中的任一个设计和构成在计算装置和/或虚拟化环境300的任何操作系统上运行的组件或模块。虚拟化设备400不使用设备200的加密处理器260、处理器262、存储器264和网络堆栈267，而是可使用虚拟化环境400提供的任何这些资源或者服务器106上以其他方式可用的这些资源。
仍参考图4C，简言之，任何一个或多个vServer275A-275N可以操作或执行在任意类型的计算装置100（如服务器106）的虚拟化环境400中。结合附图2B描述的设备200的任何模块和功能可以设计和构造成在服务器的虚拟化或非虚拟化环境中操作。可以将vServer275、SSL VPN280、内网UP282、交换装置284、DNS286、加速装置288、APP FW280和监控代理中的任一个打包、组合、设计或构造成应用传送控制器450的形式，应用传送控制器450可部署成在装置和/或虚拟化环境400中执行的一个或多个软件模块或组件。
一些实施例中，服务器可以在虚拟化环境中执行多个虚拟机406a-406b，每个虚拟机运行虚拟应用传送控制器450的相同或不同实施例。一些实施例中，服务器可以在多核处理系统的一个核上执行一个或多个虚拟机上的一个或多个虚拟设备450。一些实施例中，服务器可以在多处理器装置的每个处理器上执行一个或多个虚拟机上的一个或多个虚拟设备450。
E.提供多核架构的系统和方法
根据摩尔定律，每两年集成电路上可安装的晶体管的数量会基本翻倍。然而，CPU速度增加会达到一个稳定的水平（plateaus），例如，2005年以来，CPU速度在约3.5-4GHz的范围内。一些情况下，CPU制造商可能不依靠CPU速度增加来获得额外的性能。一些CPU制造商会给处理器增加附加核以提供额外的性能。依靠CPU获得性能改善的如软件和网络供应商的产品可以通过利用这些多核CPU来改进他们的性能。可以重新设计和/或编写为单CPU设计和构造的软件以利用多线程、并行架构或多核架构。
一些实施例中，称为nCore或多核技术的设备200的多核架构允许设备打破单核性能障碍并利用多核CPU的能力。前文结合图2A描述的架构中，运行单个网络或分组引擎。nCore技术和架构的多核允许同时和/或并行地运行多个分组引擎。通过在每个核上运行分组引擎，设备架构利用附加核的处理能力。一些实施例中，这提供了高达七倍的性能改善和扩展性。
图5A示出根据一类并行机制或并行计算方案（如功能并行机制、数据并行机制或基于流的数据并行机制）在一个或多个处理器核上分布的工作、任务、负载或网络流量的一些实施例。总体而言，图5A示出如具有n个核的设备200'的多核系统的实施例，n个核编号为1到N。一个实施例中，工作、负载或网络流量可以分布在第一核505A、第二核505B、第三核505C、第四核505D、第五核505E、第六核505F、第七核505G等上，这样，分布位于所有n个核505N（此后统称为核505）或n个核中的两个或多个上。可以有多个VIP275，每个运行在多个核中的相应的核上。可以有多个分组引擎240，每个运行在多个核的相应的核。所使用任何方法可产生多个核中任一核上的不同的、变化的或类似的工作负载或性能级别515。对于功能并行方法，每个核运行由分组引擎、VIP275或设备200提供的多个功能的不同功能。在数据并行方法中，数据可基于接收数据的网络接口卡（NIC）或VIP275并行或分布在核上。又一个数据并行方法中，可通过将数据流分布在每个核上而将处理分布在核上。
图5A的进一步的细节中，一些实施例中，可以根据功能并行机制500将负载、工作或网络流量在多个核505间分布。功能并行机制可基于执行一个或多个相应功能的每个核。一些实施例中，第一核可执行第一功能，同时第二核执行第二功能。功能并行方法中，根据功能性将多核系统要执行的功能划分并分布到每个核。一些实施例中，可将功能并行机制称为任务并行机制，并且可在每个处理器或核对同一数据或不同数据执行不同进程或功能时实现。核或处理器可执行相同或不同的代码。一些情况下，不同的执行线程或代码可在工作时相互通信。可以进行通信以将数据作为工作流的一部分从一个线程传递给下一线程。
一些实施例中，根据功能并行机制500将工作分布在核505上，可以包括根据特定功能分布网络流量，所述特定功能例如为网络输入/输出管理（NW I/O）510A、安全套接层（SSL）加密和解密510B和传输控制协议（TCP）功能510C。这会产生基于所使用的功能量或功能级别的工作、性能或者计算负载515。一些实施例中，根据数据并行机制540将工作分布在核505上可包括基于与特定的硬件或软件组件相关联的分布数据来分布工作量515。一些实施例中，根据基于流的数据并行机制520将工作分布在核505上可包括基于上下文或流来分布数据，从而使得每个核上的工作量515A-N可以类似、基本相等或者相对平均分布。
在功能并行方法的情况下，可以配置每个核来运行由设备的分组引擎或VIP提供的多个功能中的一个或多个功能。例如，核1可执行设备200’的网络I/O处理，同时核2执行设备的TCP连接管理。类似地，核3可执行SSL卸载，同时核4可执行第7层或应用层处理和流量管理。每个核可执行相同或不同的功能。每个核可执行不只一个功能。任一核可运行结合附图2A和2B识别和/或描述的功能或其一部分。该方法中，核上的工作可以粗粒度或细粒度方式按功能划分。一些情况下，如图5A所示，按功能划分会使得不同核运行在不同的性能或负载级别515。
在功能并行方法的情况下，可以配置每个核来运行由设备的分组引擎提供的多个功能中的一个或多个功能。例如，核1可执行设备200’的网络I/O处理，同时核2执行设备的TCP连接管理。类似地，核3可执行SSL卸载，同时核4可执行第7层或应用层处理和流量管理。每个核可执行相同或不同的功能。每个核可执行不只一个功能。任何核可运行结合附图2A和2B识别和/或描述的功能或其一部分。该方法中，核上的工作可以粗粒度或细粒度方式按功能划分。一些情况下，如图5A所示，按功能划分会使得不同核运行在不同的性能或负载级别。
可以用任何结构或方案来分布功能或任务。例如，图5B示出用于处理与网络I/O功能510A相关联的应用和进程的第一核Core1505A。一些实施例中，与网络I/O相关联的网络流量可以和特定的端口号相关联。因而，将具有与NW I/O510A相关联的端口目的地的发出和到来的分组导引给Core1505A，该Core1505A专用于处理与NW I/O端口相关联的所有网络流量。类似的，Core2505B专用于处理与SSL处理相关联的功能，Core4505D可专用于处理所有TCP级处理和功能。
虽然图5A示出如网络I/O、SSL和TCP的功能，也可将其他功能分配给核。这些其他功能可包括此处描述的任一或多个功能或操作。例如，结合图2A和2B描述的任何功能可基于功能基础分布在核上。一些情况下，第一VIP275A可运行在第一核上，同时，具有不同配置的第二VIP275B可运行在第二核上。一些实施例中，每个核505可处理特定功能，这样每个核505可处理与该特定功能相关联的处理。例如，Core2505B可处理SSL卸载，同时Core4505D可处理应用层处理和流量管理。
其他实施例中，可根据任何类型或形式的数据并行机制540将工作、负载或网络流量分布在核505上。一些实施例中，可由每个核对分布式数据的不同片执行相同任务或功能来实现多核系统中的数据并行机制。一些实施例中，单个执行线程或代码控制对所有数据片的操作。其他实施例中，不同线程或指令控制操作，但是可执行相同代码。一些实施例中，从分组引擎、vServer(VIP)275A-C、网络接口卡（NIC）542D-E和/或设备200上包括的或者与设备200相关联的任何其他网络硬件或软件的角度实现数据并行机制。例如，每个核可运行同样的分组引擎或VIP代码或配置但是在不同的分布式数据集上进行操作。每个网络硬件或软件结构可接收不同的、变化的或者基本相同量的数据，因而可以具有变化的、不同的或相对相同量的负载515。
在数据并行方法的情况下，可以基于VIP、NIC和/或VIP或NIC的数据流来划分和分布工作。在这些的方法的一个中，可通过使每个VIP在分布的数据集上工作来将多核系统的工作划分或者分布在VIP中。例如，可配置每个核运行一个或多个VIP。网络流量可分布在处理流量的每个VIP的核上。在这些方法的又一个中，可基于哪个NIC接收网络流量来将设备的工作划分或分布在核上。例如，第一NIC的网络流量可被分布到第一核，同时第二NIC的网络流量可被分布给第二核。一些情况下，核可处理来自多个NIC的数据。
虽然图5A示出了与单个核505相关联的单个vServer，正如VIP1275A、VIP2275B和VIP3275C的情况。但是，一些实施例中，单个vServer可以与一个或者多个核505相关联。相反，一个或多个vServer可以与单个核505相关联。将vServer与核505关联可包括该核505处理与该特定vServer关联的所有功能。一些实施例中，每个核执行具有相同代码和配置的VIP。其他实施例中，每个核执行具有相同代码但配置不同的VIP。一些实施例中，每个核执行具有不同代码和相同或不同配置的VIP。
和vServer类似，NIC也可以和特定的核505关联。许多实施例中，NIC可以连接到一个或多个核505，这样，当NIC接收或传输数据分组时，特定的核505处理涉及接收和传输数据分组的处理。一个实施例中，单个NIC可以与单个核505相关联，正如NIC1542D和NIC2542E的情况。其他实施例中，一个或多个NIC可以与单个核505相关联。但其他实施例中，单个NIC可以与一个或者多个核505相关联。这些实施例中，负载可以分布在一个或多个核505上，使得每个核505基本上处理类似的负载量。与NIC关联的核505可以处理与该特定NIC关联的所有功能和/或数据。
虽然根据VIP或NIC的数据将工作分布在核上具有某种程度的独立性，但是，一些实施例中，这会造成如图5A的变化负载515所示的核的不平衡的使用。
一些实施例中，可根据任何类型或形式的数据流将负载、工作或网络流量分布在核505上。在这些方法的又一个中，可基于数据流将工作划分或分布在多个核上。例如，客户机或服务器之间的经过设备的网络流量可以被分布到多个核中的一个核并且由其处理。一些情况下，最初建立会话或连接的核可以是该会话或连接的网络流量所分布的核。一些实施例中，数据流基于网络流量的任何单元或部分，如事务、请求/响应通信或来自客户机上的应用的流量。这样，一些实施例中，客户机和服务器之间的经过设备200’的数据流可以比其他方式分布的更均衡。
在基于流的数据并行机制520中，数据分布和任何类型的数据流相关，例如请求/响应对、事务、会话、连接或应用通信。例如，客户机或服务器之间的经过设备的网络流量可以被分布到多个核中的一个核并且由其处理。一些情况下，最初建立会话或连接的核可以是该会话或连接的网络流量所分布的核。数据流的分布可以使得每个核505运行基本相等或相对均匀分布的负载量、数据量或网络流量。
一些实施例中，数据流基于网络流量的任何单元或部分，如事务、请求/响应通信或源自客户机上的应用的流量。这样，一些实施例中，客户机和服务器之间的经过设备200’的数据流可以比其他方式分布的更均衡。一个实施例中，可以基于事务或一系列事务分布数据量。一些实施例中，该事务可以是客户机和服务器之间的，其特征可以是IP地址或其他分组标识符。例如，核1505A可专用于特定客户机和特定服务器之间的事务，因此，核1505A上的负载515A可包括与特定客户机和服务器之间的事务相关联的网络流量。可通过将源自特定客户机或服务器的所有数据分组路由到核1505A来将网络流量分配给核1505A。
虽然可部分地基于事务将工作或负载分布到核，但是，其他实施例中，可基于每个分组的基础分配负载或工作。这些实施例中，设备200可拦截数据分组并将数据分组分配给负载量最小的核505。例如，由于核1上的负载515A小于其他核505B-N上的负载515B-N，所以设备200可将第一到来的数据分组分配给核1505A。将第一数据分组分配给核1505A后，核1505A上的负载量515A与处理第一数据分组所需的处理资源量成比例增加。设备200拦截到第二数据分组时，设备200会将负载分配给核4505D，这是由于核4505D具有第二少的负载量。一些实施例中，将数据分组分配给负载量最小的核可确保分布到每个核505的负载515A-N保持基本相等。
其他实施例中，将一部分网络流量分配给特定核505的情况下，可以每单元为基础分配负载。上述示例说明以每分组为基础进行负载平衡。其他实施例中，可以基于分组数目分配负载，例如，将每10个、100个或1000个分组分配给流量最少的核505。分配给核505的分组数量可以是由应用、用户或管理员确定的数目，而且可以为大于零的任何数。仍在其他实施例中，基于时间指标分配负载，使得在预定时间段将分组分布到特定核505。这些实施例中，可以在5毫秒内或者由用户、程序、系统、管理器或其他方式确定的任何时间段将分组分布到特定核505。预定时间段过去后，在预定时间段内将时间分组传输给不同的核505。
用于将工作、负载或网络流量分布在一个或多个核505上的基于流的数据并行方法可包括上述实施例的任意组合。这些方法可以由设备200的任何部分执行，由在核505上执行的应用或者一组可执行指令执行，例如分组引擎，或者由在与设备200通信的计算装置上执行的任何应用、程序或代理执行。
图5A所示的功能和数据并行机制计算方案可以任何方式组合，以产生混合并行机制或分布式处理方案，其包括功能并行机制500、数据并行机制540、基于流的数据并行机制520或者其任何部分。一些情况下，多核系统可使用任何类型或形式的负载平衡方案来将负载分布在一个或多个核505上。负载平衡方案可以和任何功能和数据平行方案或其组合结合使用。
图5B示出多核系统545的实施例，该系统可以是任何类型或形式的一个或多个系统、设备、装置或组件。一些实施例中，该系统545可被包括在具有一个或多个处理核505A-N的设备200内。系统545还可包括与存储器总线556通信的一个或多个分组引擎（PE）或分组处理引擎（PPE）548A-N。存储器总线可用于与一个或多个处理核505A-N通信。系统545还可包括一个或多个网络接口卡（NIC）552和流分布器550，流分布器还可与一个或多个处理核505A-N通信。流分布器550可包括接收侧调整器（Receiver SideScaler-RSS）或接收侧调整（Receiver Side Scaling-RSS）模块560。
进一步参考图5B，具体而言，一个实施例中，分组引擎548A-N可包括此处所述的设备200的任何部分，例如图2A和2B所述设备的任何部分。一些实施例中，分组引擎548A-N可包括任何下列的元件：分组引擎240、网络堆栈267、高速缓存管理器232、策略引擎236、压缩引擎238、加密引擎234、GUI210、CLI212、壳服务214、监控程序216以及能够从数据总线556或一个或多个核505A-N中的任一个接收数据分组的其他任何软件和硬件元件。一些实施例中，分组引擎548A-N可包括一个或多个vServer275A-N或其任何部分。其他实施例中，分组引擎548A-N可提供以下功能的任意组合：SSL VPN280、内部网IP282、交换284、DNS286、分组加速288、APPFW280、如由监控代理197提供的监控、和作为TCP堆栈关联的功能、负载平衡、SSL卸载和处理、内容交换、策略评估、高速缓存、压缩、编码、解压缩、解码、应用防火墙功能、XML处理和加速以及SSL VPN连接。
一些实施例中，分组引擎548A-N可以与特定服务器、用户、客户或网络关联。分组引擎548与特定实体关联时，分组引擎548可处理与该实体关联的数据分组。例如，如果分组引擎548与第一用户关联，那么该分组引擎548将对由第一用户产生的分组或者目的地址与第一用户关联的分组进行处理和操作。类似地，分组引擎548可选择不与特定实体关联，使得分组引擎548可对不是由该实体产生的或目的是该实体的任何数据分组进行处理和以其他方式进行操作。
一些实例中，可将分组引擎548A-N配置为执行图5A所示的任何功能和/或数据并行方案。这些实例中，分组引擎548A-N可将功能或数据分布在多个核505A-N上，从而使得分布是根据并行机制或分布方案的。一些实施例中，单个分组引擎548A-N执行负载平衡方案，其他实施例中，一个或多个分组引擎548A-N执行负载平衡方案。一个实施例中，每个核505A-N可以与特定分组引擎548关联，使得可以由分组引擎执行负载平衡。在该实施例中，负载平衡可要求与核505关联的每个分组引擎548A-N和与核关联的其他分组引擎通信，使得分组引擎548A-N可共同决定将负载分布在何处。该过程的一个实施例可包括从每个分组引擎接收对于负载的投票的仲裁器。仲裁器可部分地基于引擎投票的持续时间将负载分配给每个分组引擎548A-N，一些情况下，还可基于与在引擎关联的核505上的当前负载量相关联的优先级值来将负载分配给每个分组引擎548A-N。
核上运行的任何分组引擎可以运行于用户模式、内核模式或其任意组合。一些实施例中，分组引擎作为在用户空间或应用空间中运行的应用或程序来操作。这些实施例中，分组引擎可使用任何类型或形式的接口来访问内核提供的任何功能。一些实施例中，分组引擎操作于内核模式中或作为内核的一部分来操作。一些实施例中，分组引擎的第一部分操作于用户模式中，分组引擎的第二部分操作于内核模式中。一些实施例中，第一核上的第一分组引擎执行于内核模式中，同时，第二核上的第二分组引擎执行于用户模式中。一些实施例中，分组引擎或其任何部分对NIC或其任何驱动器进行操作或者与其联合操作。
一些实施例中，存储器总线556可以是任何类型或形式的存储器或计算机总线。虽然在图5B中描述了单个存储器总线556，但是系统545可包括任意数量的存储器总线556。一个实施例中，每个分组引擎548可以和一个或者多个单独的存储器总线556相关联。
一些实施例中，NIC552可以是此处所述的任何网络接口卡或机制。NIC552可具有任意数量的端口。NIC可设计并构造成连接到任何类型和形式的网络104。虽然示出单个NIC552，但是，系统545可包括任意数量的NIC552。一些实施例中，每个核505A-N可以与一个或多个单个NIC552关联。因而，每个核505可以与专用于特定核505的单个NIC552关联。核505A-N可包括此处所述的任何处理器。此外，可根据此处所述的任何核505配置来配置核505A-N。另外，核505A-N可具有此处所述的任何核505功能。虽然图5B示出七个核505A-G，但是系统545可包括任意数量的核505。具体而言，系统545可包括N个核，其中N是大于零的整数。
核可具有或使用被分配或指派用于该核的存储器。可将存储器视为该核的专有或本地存储器并且仅有该核可访问该存储器。核可具有或使用共享的或指派给多个核的存储器。该存储器可被视为由不只一个核可访问的公共或共享存储器。核可使用专有或公共存储器的任何组合。通过每个核的单独的地址空间，消除了使用同一地址空间的情况下的一些协调级别。利用单独的地址空间，核可以对核自己的地址空间中的信息和数据进行工作，而不用担心与其他核冲突。每个分组引擎可以具有用于TCP和/或SSL连接的单独存储器池。
仍参考图5B，上文结合图5A描述的核505的任何功能和/或实施例可以部署在上文结合图4A和4B描述的虚拟化环境的任何实施例中。不是以物理处理器505的形式部署核505的功能，而是将这些功能部署在诸如客户机102、服务器106或设备200的任何计算装置100的虚拟化环境400内。其他实施例中，不是以设备或一个装置的形式部署核505的功能，而是将该功能部署在任何布置的多个装置上。例如，一个装置可包括两个或多个核，另一个装置可包括两个或多个核。例如，多核系统可包括计算装置的集群、服务器群或计算装置的网络。一些实施例中，不是以核的形式部署核505的功能，而是将该功能部署在多个处理器上，例如部署多个单核处理器上。
一个实施例中，核505可以为任何形式或类型的处理器。一些实施例中，核的功能可以基本类似此处所述的任何处理器或中央处理单元。一些实施例中，核505可包括此处所述的任何处理器的任何部分。虽然图5A示出7个核，但是，设备200内可以有任意N个核，其中N是大于1的整数。一些实施例中，核505可以安装在公用设备200内，其他实施例中，核505可以安装在彼此通信连接的一个或多个设备200内。一些实施例中，核505包括图形处理软件，而其他实施例中，核505提供通用处理能力。核505可彼此物理靠近地安装和/或可彼此通信连接。可以用以物理方式和/或通信方式耦合到核的任何类型和形式的总线或子系统连接核，用于向核、从核和/或在核之间传输数据。
尽管每个核505可包括用于与其他核通信的软件，一些实施例中，核管理器（未示出）可有助于每个核505之间的通信。一些实施例中，内核可提供核管理。核可以使用各种接口机制彼此接口或通信。一些实施例中，可以使用核到核的消息传送来在核之间通信，比如，第一核通过连接到核的总线或子系统向第二核发送消息或数据。一些实施例中，核可通过任何种类或形式的共享存储器接口通信。一个实施例中，可以存在在所有核中共享的一个或多个存储器单元。一些实施例中，每个核可以具有和每个其他核共享的单独存储器单元。例如，第一核可具有与第二核的第一共享存储器，以及与第三核的第二共享存储器。一些实施例中，核可通过任何类型的编程或API（如通过内核的函数调用）来通信。一些实施例中，操作系统可识别并支持多核装置，并提供用于核间通信的接口和API。
流分布器550可以是任何应用、程序、库、脚本、任务、服务、进程或在任何类型或形式的硬件上执行的任何类型和形式的可执行指令。一些实施例中，流分布器550可以是用于执行此处所述任何操作和功能的任何电路设计或结构。一些实施例中，流分布器分布、转发、路由、控制和/或管理多个核505上的数据和/或在核上运行的分组引擎或VIP的分布。一些实施例中，可将流分布器550称为接口主装置（interface master）。一个实施例中，流分布器550包括在设备200的核或处理器上执行的一组可执行指令。又一个实施例中，流分布器550包括在与设备200通信的计算机器上执行的一组可执行指令。一些实施例中，流分布器550包括在如固件的NIC上执行的一组可执行指令。其他实施例，流分布器550包括用于将数据分组分布在核或处理器上的软件和硬件的任何组合。一个实施例中，流分布器550在至少一个核505A-N上执行，而在其他实施例中，分配给每个核505A-N的单独的流分布器550在相关联的核505A-N上执行。流分布器可使用任何类型和形式的统计或概率算法或决策来平衡多个核上的流。可以将如NIC的设备硬件或内核设计或构造成支持NIC和/或核上的顺序操作。
系统545包括一个或多个流分布器550的实施例中，每个流分布器550可以与处理器505或分组引擎548关联。流分布器550可包括允许每个流分布器550和在系统545内执行的其他流分布器550通信的接口机制。一个实例中，一个或多个流分布器550可通过彼此通信确定如何平衡负载。该过程的操作可以基本与上述过程类似，即将投票提交给仲裁器，然后仲裁器确定哪个流分布器550应该接收负载。其他实施例中，第一流分布器550’可识别所关联的核上的负载并基于任何下列标准确定是否将第一数据分组转发到所关联的核：所关联的核上的负载大于预定阈值；所关联的核上的负载小于预定阈值；所关联的核上的负载小于其他核上的负载；或者可以用于部分基于处理器上的负载量来确定将数据分组转发到何处的任何其他指标。
流分布器550可以根据如此处所述的分布、计算或负载平衡方法而将网络流量分布在核505上。一个实施例中，流分布器可基于功能并行机制分布方案550、数据并行机制负载分布方案540、基于流的数据并行机制分布方案520或这些分布方案的任意组合或用于将负载分布在多个处理器上的任何负载平衡方案来分布网络流量。因而，流分布器550可通过接收数据分组并根据操作的负载平衡或分布方案将数据分组分布在处理器上而充当负载分布器。一个实施例中，流分布器550可包括用于确定如何相应地分布分组、工作或负载的一个或多个操作、函数或逻辑。又一个实施例中，流分布器550可包括可识别与数据分组关联的源地址和目的地址并相应地分布分组的一个或多个子操作、函数或逻辑。
一些实施例中，流分布器550可包括接收侧调整（RSS）网络驱动器模块560或将数据分组分布在一个或多个核505上的任何类型和形式的可执行指令。RSS模块560可以包括硬件和软件的任意组合。一些实施例中，RSS模块560和流分布器550协同工作以将数据分组分布在核505A-N或多处理器网络中的多个处理器上。一些实施例中，RSS模块560可在NIC552中执行，其他实施例中，可在核505的任何一个上执行。
一些实施例中，RSS模块560使用微软接收侧调整（RSS)方法。一个实施例中，RSS是微软可扩展网络主动技术（Microsoft Scalable Networkinginitiative technology），其使得系统中的多个处理器上的接收处理是平衡的，同时保持数据的顺序传送。RSS可使用任何类型或形式的哈希方案来确定用于处理网络分组的核或处理器。
RSS模块560可应用任何类型或形式的哈希函数，如Toeplitz哈希函数。哈希函数可应用到哈希类型值或者任何值序列。哈希函数可以是任意安全级别的安全哈希或者是以其他方式加密。哈希函数可使用哈希关键字（hashkey）。关键字的大小取决于哈希函数。对于Toeplitz哈希，用于IPv6的哈希关键字大小为40字节，用于IPv4的哈希关键字大小为16字节。
可以基于任何一个或多个标准或设计目标设计或构造哈希函数。一些实施例中，可使用为不同的哈希输入和不同哈希类型提供均匀分布的哈希结果的哈希函数，所述不同哈希输入和不同哈希类型包括TCP/IPv4、TCP/IPv6、IPv4和IPv6头部。一些实施例中，可使用存在少量桶时（例如2个或4个）提供均匀分布的哈希结果的哈希函数。一些实施例中，可使用存在大量桶时（例如64个桶）提供随机分布的哈希结果的哈希函数。在一些实施例中，基于计算或资源使用水平来确定哈希函数。在一些实施例中，基于在硬件中实现哈希的难易度来确定哈希函数。在一些实施例中，基于用恶意的远程主机发送将全部哈希到同一桶中的分组的难易度来确定哈希函数。
RSS可从任意类型和形式的输入来产生哈希，例如值序列。该值序列可包括网络分组的任何部分，如网络分组的任何头部、域或载荷或其一部分。一些实施例中，可将哈希输入称为哈希类型，哈希输入可包括与网络分组或数据流关联的任何信息元组，例如下面的类型：包括至少两个IP地址和两个端口的四元组、包括任意四组值的四元组、六元组、二元组和/或任何其他数字或值序列。以下是可由RSS使用的哈希类型示例：
-源TCP端口、源IP版本4（IPv4）地址、目的TCP端口和目的IPv4地址的四元组。
-源TCP端口、源IP版本6（IPv6）地址、目的TCP端口和目的IPv6地址的四元组。
-源IPv4地址和目的IPv4地址的二元组。
-源IPv6地址和目的IPv6地址的二元组。
-源IPv6地址和目的IPv6地址的二元组，包括对解析IPv6扩展头部的支持。
哈希结果或其任何部分可用于识别用于分布网络分组的核或实体，如分组引擎或VIP。一些实施例中，可向哈希结果应用一个或者多个哈希位或掩码。哈希位或掩码可以是任何位数或字节数。NIC可支持任意位，例如7位。网络堆栈可在初始化时设定要使用的实际位数。位数介于1和7之间，包括端值。
可通过任意类型和形式的表用哈希结果来识别核或实体，例如通过桶表（bucket table）或间接表（indirection table）。一些实施例中，用哈希结果的位数来索引表。哈希掩码的范围可有效地限定间接表的大小。哈希结果的任何部分或哈希结果自身可用于索引间接表。表中的值可标识任何核或处理器，例如通过核或处理器标识符来标识。一些实施例中，表中标识多核系统的所有核。其他实施例中，表中标识多核系统的一部分核。间接表可包括任意多个桶，例如2到128个桶，可以用哈希掩码索引这些桶。每个桶可包括标识核或处理器的索引值范围。一些实施例中，流控制器和/或RSS模块可通过改变间接表来重新平衡网络负载。
一些实施例中，多核系统575不包括RSS驱动器或RSS模块560。在这些实施例的一些中，软件操控模块（未示出）或系统内RSS模块的软件实施例可以和流分布器550共同操作或者作为流分布器550的一部分操作，以将分组引导到多核系统575中的核505。
一些实施例中，流分布器550在设备200上的任何模块或程序中执行，或者在多核系统575中包括的任何一个核505和任一装置或组件上执行。一些实施例中，流分布器550’可在第一核505A上执行，而在其他实施例中，流分布器550”可在NIC552上执行。其他实施例中，流分布器550’的实例可在多核系统575中包括的每个核505上执行。该实施例中，流分布器550’的每个实例可和流分布器550’的其他实例通信以在核505之间来回转发分组。存在这样的状况，其中，对请求分组的响应不是由同一核处理的，即第一核处理请求，而第二核处理响应。这些情况下，流分布器550’的实例可以拦截分组并将分组转发到期望的或正确的核505，即流分布器550’可将响应转发到第一核。流分布器550’的多个实例可以在任意数量的核505或核505的任何组合上执行。
流分布器可以响应于任一个或多个规则或策略而操作。规则可识别接收网络分组、数据或数据流的核或分组处理引擎。规则可识别和网络分组有关的任何类型和形式的元组信息，例如源和目的IP地址以及源和目的端口的四元组。基于所接收的匹配规则所指定的元组的分组，流分布器可将分组转发到核或分组引擎。一些实施例中，通过共享存储器和/或核到核的消息传输将分组转发到核。
虽然图5B示出了在多核系统575中执行的流分布器550，但是，一些实施例中，流分布器550可执行在位于远离多核系统575的计算装置或设备上。这样的实施例中，流分布器550可以和多核系统575通信以接收数据分组并将分组分布在一个或多个核505上。一个实施例中，流分布器550接收以设备200为目的地的数据分组，向所接收的数据分组应用分布方案并将数据分组分布到多核系统575的一个或多个核505。一个实施例中，流分布器550可以被包括在路由器或其他设备中，这样路由器可以通过改变与每个分组关联的元数据而以特定核505为目的地，从而每个分组以多核系统575的子节点为目的地。这样的实施例中，可用CISCO的vn-tag机制来改变或标记具有适当元数据的每个分组。
图5C示出包括一个或多个处理核505A-N的多核系统575的实施例。简言之，核505中的一个可被指定为控制核505A并可用作其他核505的控制平面570。其他核可以是次级核，其工作于数据平面，而控制核提供控制平面。核505A-N共享全局高速缓存580。控制核提供控制平面，多核系统中的其他核形成或提供数据平面。这些核对网络流量执行数据处理功能，而控制核提供对多核系统的初始化、配置和控制。
仍参考图5C，具体而言，核505A-N以及控制核505A可以是此处所述的任何处理器。此外，核505A-N和控制核505A可以是能在图5C所述系统中工作的任何处理器。另外，核505A-N可以是此处所述的任何核或核组。控制核可以是与其他核不同类型的核或处理器。一些实施例中，控制核可操作不同的分组引擎或者具有与其他核的分组引擎配置不同的分组引擎。
每个核的存储器的任何部分可以被分配给或者用作核共享的全局高速缓存。简而言之，每个核的每个存储器的预定百分比或预定量可用作全局高速缓存。例如，每个核的每个存储器的50%可用作或分配给共享全局高速缓存。也就是说，所示实施例中，除了控制平面核或核1以外的每个核的2GB可用于形成28GB的共享全局高速缓存。例如通过配置服务而配置控制平面可确定用于共享全局高速缓存的存储量（the amount of memory）。一些实施例中，每个核可提供不同的存储量供全局高速缓存使用。其他实施例中，任一核可以不提供任何存储器或不使用全局高速缓存。一些实施例中，任何核也可具有未分配给全局共享存储器的存储器中的本地高速缓存。每个核可将网络流量的任意部分存储在全局共享高速缓存中。每个核可检查高速缓存来查找要在请求或响应中使用的任何内容。任何核可从全局共享高速缓存获得内容以在数据流、请求或响应中使用。
全局高速缓存580可以是任意类型或形式的存储器或存储元件，例如此处所述的任何存储器或存储元件。一些实施例中，核505可访问预定的存储量（即32GB或者与系统575相当的任何其他存储量）。全局高速缓存580可以从预定的存储量分配而来，同时，其余的可用存储器可在核505之间分配。其他实施例中，每个核505可具有预定的存储量。全局高速缓存580可包括分配给每个核505的存储量。该存储量可以字节为单位来测量，或者可用分配给每个核505的存储器百分比来测量。因而，全局高速缓存580可包括来自与每个核505关联的存储器的1GB存储器，或者可包括和每个核505关联的存储器的20%或一半。一些实施例，只有一部分核505提供存储器给全局高速缓存580，而在其他实施例，全局高速缓存580可包括未分配给核505的存储器。
每个核505可使用全局高速缓存580来存储网络流量或缓存数据。一些实施例中，核的分组引擎使用全局高速缓存来缓存并使用由多个分组引擎所存储的数据。例如，图2A的高速缓存管理器和图2B的高速缓存功能可使用全局高速缓存来共享数据以用于加速。例如，每个分组引擎可在全局高速缓存中存储例如HTML数据的响应。操作于核上的任何高速缓存管理器可访问全局高速缓存来将高速缓存响应提供给客户请求。
一些实施例中，核505可使用全局高速缓存580来存储端口分配表，其可用于部分基于端口确定数据流。其他实施例中，核505可使用全局高速缓存580来存储地址查询表或任何其他表或列表，流分布器可使用这些表来确定将到来的数据分组和发出的数据分组导向何处。一些实施例中，核505可以读写高速缓存580，而其他实施例中，核505仅从高速缓存读或者仅向高速缓存写。核可使用全局高速缓存来执行核到核通信。
可以将全局高速缓存580划分成各个存储器部分，其中每个部分可专用于特定核505。一个实施例中，控制核505A可接收大量的可用高速缓存，而其他核505可接收对全局高速缓存580的变化的访问量。
一些实施例中，系统575可包括控制核505A。虽然图5C将核1505A示为控制核，但是，控制核可以是设备200或多核系统中的任何一个核。此外，虽然仅描述了单个控制核，但是，系统575可包括一个或多个控制核，每个控制核对系统有某种程度的控制。一些实施例中，一个或多个控制核可以各自控制系统575的特定方面。例如，一个核可控制决定使用哪种分布方案，而另一个核可确定全局高速缓存580的大小。
多核系统的控制平面可以是将一个核指定并配置成专用的管理核或者作为主核。控制平面核可对多核系统中的多个核的操作和功能提供控制、管理和协调。控制平面核可对多核系统中的多个核上存储器系统的分配和使用提供控制、管理和协调，这包括初始化和配置存储器系统。一些实施例中，控制平面包括流分布器，用于基于数据流控制数据流到核的分配以及网络分组到核的分配。一些实施例中，控制平面核运行分组引擎，其他实施例中，控制平面核专用于系统的其他核的控制和管理。
控制核505A可对其他核505进行某种级别的控制，例如，确定将多少存储器分配给每个核505，或者确定应该指派哪个核来处理特定功能或硬件/软件实体。一些实施例中，控制核505A可以对控制平面570中的这些核505进行控制。因而，控制平面570之外可存在不受控制核505A控制的处理器。确定控制平面570的边界可包括由控制核505A或系统575中执行的代理维护由控制核505A控制的核的列表。控制核505A可控制以下的任一个：核初始化、确定核何时不可用、一个核出故障时将负载重新分配给其他核505、决定实现哪个分布方案、决定哪个核应该接收网络流量、决定应该给每个核分配多少高速缓存、确定是否将特定功能或元件分布到特定核、确定是否允许核彼此通信、确定全局高速缓存580的大小以及对系统575内的核的功能、配置或操作的任何其他确定。
F.用于跨多核架构和系统分发数据分组的系统和方法
图6描述多核系统545的一个实施例。在大多数实施例中，系统545可能包括一个或多个网络接口卡（NIC）552，该网络接口卡可以执行或包括RSS模块560。NIC552可与一个或多个核505通信，其中每个核可执行分组引擎548和/或流分布器550。在一些实施例中，NIC552可存储一个或多个端口分配表604，并且可以包括一个或多个端口632以及一个或多个互联网协议（IP）地址630。
仍参考图6且具体而言，在一个实施例中，多核系统545可以是本文描述的任何多核系统545。特别地，多核系统545可以是图5B-5C中描述的任何多核系统545。多核系统545可以在设备200、客户机、服务器或执行本文描述的多核系统545的任何其他计算装置上执行。尽管图6中描述的多核系统545包括多个核505和一个NIC552，在一些实施例中，多核系统545可包括附加装置并且可以执行附加程序、客户机和模块。
在一个实施例中，多核系统545可包括NIC552，诸如本文描述的任何NIC。尽管图6所示的多核系统545描述了具有单个NIC552的多核系统545，但在一些实施例中，多核系统545可具有一个或多个NIC552。这些NIC552可以是同样类型的NIC552，而且在其他实施例中可以是不同类型的NIC552。NIC552可与多核系统545中的一个或多个处理核505通信。例如，NIC552可与第一核505A、第二核505B、第三核505C、第四核505D、第五核505E、第六核505F、第七核505G以及第任意“N”核505N中的每一个通信，其中“N”是大于零的整数。在其他实施例中，NIC552可与单个核505或多个核505的子集通信。例如，NIC552可与第一核505A，或者核1到4505A-505D通信。在其中多核系统545内包括多个NIC552的实施例中，每个NIC552可与一个或多个核505通信。例如，第一NIC552可与核1到4505A-505D通信，而第二NIC552可与核5到7505E-505G通信。在其中多核系统545内包括多个NIC552的其他实施例中，一个或多个NIC552可与核505通信，而其他NIC552可执行可选择的功能、与多核系统545内的其他系统或装置通信，或者可以起冗余NIC552的作用，其中当主要NIC552故障时将该冗余NIC552用作备份。
在一些实施例中，NIC552执行RSS模块560，例如本文中描述的任何RSS模块560。RSS模块560对值的元组或序列应用哈希函数，该值的元组或序列包括下列的任意组合：客户机IP地址、客户机端口、目的IP地址、目的端口，或者与数据分组的源或目的关联的任何其他值。在一些实施例中，对元组应用哈希函数得到的值识别多核系统545内的核505。RSS模块560可使用哈希函数的这种性质在多核系统545内跨核505分发分组。通过跨多核系统545的核505来分发分组，RSS模块560可以用与基于流的数据并行大体类似的方法，跨核505均衡地分发网络流量。
多核系统545内的核505可以是本文描述的任意核505。在一个实施例中，多核系统545可包括任意“N”个核，其中“N”是大于零的整数。在其他实施例中，多核系统545可包括八个核。核505可专用于处理执行某些功能的程序或服务，并且在一些实施例中，可专用于处理由某些装置或程序模块接收或发送的数据分组。在一些实施例中，每个核505可执行下列中的任何一个：分组引擎548，诸如本文描述的任何分组引擎548；或者流分布器550，诸如本文描述的任何流分布器550。在其他实施例中，每个核505在关联的数据仓库中存储下列中的任何一个：端口分配表格、核505的端口列表，或核505的IP地址列表。
在一个实施例中，每个核505执行分组引擎548A-N，如本文描述的任何vServer（虚拟服务器）。每个核505中可包括一个分组引擎548A-N，且分组引擎548A-N可统称为分组引擎548。在一些实施例中，分组引擎548根据由每个分组引擎548执行的流分布规则来更改或修改数据分组的元组。在一个实施例中，分组引擎548将该分组引擎548接收的数据分组的元组中的客户机IP地址替换为核505的IP地址630A-B，其中分组引擎548在该核505上执行。在另一个实施例中，分组引擎548将该分组引擎548接收的数据分组的元组中的客户机端口替换为从核505的多个端口632A-B中选择的端口632A-B，其中分组引擎548在该核505上执行。在其他实施例中，分组引擎548维护数据分组的所有方面，包括该数据分组的元组的内容。在一些实施例中，分组引擎548与一个或多个服务器106通信，从而向服务器106转发所接收的去往那些服务器106的数据分组。类似地，在一些实施例中，分组引擎548与一个或多个客户机102通信，以便向客户机102转发所接收的去往那些客户机102的数据分组。
在一些实施例中，每个核505访问分配到每个核505的存储仓库或对多核系统545中所有核505可用的共享存储仓库。在一个实施例中，端口分配604A-N存储在存储仓库中，该存储仓库是共享的或者被分配给特定的核505。单个核505可具有一个或多个端口分配表604A-N（总的称为端口分配表604），其中每个端口分配表604列举在特定核505A上可用和不可用的端口。在一个实施例中，核505可具有一个端口分配表604，而在其他实施例中，核505可具有64或256个端口分配表604。例如，核1505A上的端口分配表A604A可存储表示核1505A上每个端口632A-B的状态的条目。每个端口632A-B的状态可包括下列特征中的任何特征：端口是打开还是关闭的、端口是否已被分配（即，端口是可用的不可用的）、端口是否在预先分配的范围内，以及端口的任何其他相关特征。因而，如果核1505A上的分组引擎A548A想要确定特定端口是否是打开的和/或可用的，则分组引擎A548A可查询端口分配表A604A来确定期望端口是否是打开的和/或可用的。
在其中核505具有多个端口分配表604的实例中，每个端口分配表可与值或其他唯一标识符相关联。在一个实施例中，每个端口分配表604具有标识值（identifying value），其中可通过对数据分组的元组的部分应用哈希函数来确定该标识值。因而，分组引擎548或流分布器550可以对客户机IP地址、客户机端口、目的IP地址和/或目的端口的任意组合应用本文描述的任何哈希，以确定数据分组的唯一值。该唯一值还识别核505上的端口分配表604。例如，如果核2505B上的分组引擎548B想要为所接收的数据分组分配端口，则分组引擎548B首先对在该数据分组中标识的客户机IP地址和目的IP地址应用哈希。基于该哈希的结果，分组引擎548B从核2505B上的一个或多个端口分配表604中选择端口分配表604，以及基于对所选的端口分配表604的检查（review）来选择端口632C-D。
在一些实施例中，可由分组引擎548、流分布器550或者其他程序、服务或装置，基于对核505的端口632做出的改变或者基于将端口632分配给数据分组或事务来动态地更改端口分配表604。在一个实施例中，当把一部分端口分配给核505中的特定端口分配表604或分配给特定核505时，更新端口分配表604以体现该分配。该更新可以是更新受影响的端口632的条目以体现该分配，或者是更新受影响的端口632以便将该部分端口632中的端口632列举为打开的以及将所有其他端口632列举为关闭的。在其他实施例中，一旦将端口分配给数据分组或两个计算机器之间的事务，则更新端口分配表604以通过将被分配的端口列举为关闭的或不可用的来体现该分配，并且在一些情况下通过标识该数据分组或事务来体现该分配。
在一些实施例中，每个核505可具有一个或多个端口632（总的称为端口632）。尽管图6将每个核505描述为具有两个端口632，但每个核505可具有多个端口632，即数百个且在一些情况下具有数千个或数百万个端口632。在大部分实施例中，由唯一值或唯一编号来标识端口632。向端口632分配数据分组或事务可包括更新数据分组或事务的多个数据分组的头部以体现与分配的端口632关联的唯一值或编号。在多个实施例中，在每个核505上的端口分配表604内跟踪端口632。当每个核505具有其自己的端口632集合时，每个核上与每个端口632关联的值或编号可重复。例如，核3505C可具有端口1到3000，而核5505E也可以具有端口1到3000。核3505C和核5505E中每个端口的唯一性来自于如下事实：核3505C的端口与特定于核3505C的一个或多个IP地址相关联，并且核5505E的端口与特定于核5505E的一个或多个IP地址相关联。
类似地，在多数实施例中，每个核505具有一个或多个IP地址630A-B。尽管图6将每个核505描述为具有两个IP地址630（总的称为IP地址630），但每个核505可具有任意“N”个IP地址630，其中“N”是大于零的整数。在一些实施例中，管理员、应用或者在多核系统545中执行的其他服务或程序预先分配核505的IP地址630。在其他实施例中，为每个核505分配一组IP地址630或IP地址630的范围。在其他实施例中，为每个核505分配相同的IP地址。在大多数实施例中，该IP地址630是多核系统545的IP地址。
在一个实施例中，第一核505可执行流分布器550。该流分布器550可以是本文描述的任何流分布器550。尽管图6描述了其中流分布器550在第一核505上执行的多核系统545，但每个核505可执行特定于该核505的流分布器550的实例。在其中流分布器550在单个核505上执行的实例中，该核可以被认为是控制核。在其中多核系统545包括RSS模块560的一些实施例中，系统545可能不包括流分布器550。
可由本文描述的任何并行计算方案来完成数据分组、网络流量或者请求和响应的分发。在一个实施例中，可基于对称流分布来分发网络流量。可以为由多核系统545接收的每个数据分组使用Toeplitz哈希或任何可比哈希来确定目标核，从而实现对称流分布。在一些实施例中，对称流分布哈希或者对称哈希分布（SHD）与RSS模块560使用的哈希大体相同。通过输入字节流（例如值的元组或者序列）以及向在RSS模块560内部的RSS驱动程序提供能够用于哈希计算的密钥来进行哈希操作。因而，当向哈希函数输入“N”字节的数组时，可将字节流标识为input[0]input[1]input[2]…input[N-1]，其中最左边的字节是input[0]且最左边的位是input[0]的最高有效位，并且其中最右边的字节是input[N-1]且最右边的位是input[N-1]的最低有效位。在一些实施例中，该哈希可根据以下关系操作：
For all inputs up to the value"N",calculate the following:for each bit"B"ininput[]from left to right,if"B"is equal to one then("Result"^=(leftmost32bitsof K))and shift K left1bit position,then return"Result."
在一些实施例中，根据下列等式或关系通过XOR操作分布该哈希：Hash(Axor B)=Hash(A)xor Hash(B)。在其他实施例中，可通过任何逻辑操作分布该hash，诸如：NAND、NOR、OR、AND或本文中描述的方法和系统中可使用的任何其他逻辑操作。
向该哈希输入的值的元组或序列可以是任意下列值的连接：客户机IP地址、源IP地址、目的IP地址、本地IP地址、虚拟IP地址、分配的IP地址、设备IP地址、客户机端口、源端口、目的端口、本地端口、虚拟端口、分配的端口、设备端口，或任何其他IP地址或端口。在一些实施例中，维护元组的顺序，使得该元组是客户机IP地址、客户机端口、目的IP地址和目的端口的连接。该元组可包括两个、四个、六个或任何数量的值。另外，元组可包括任何类型的值，即数字、二元、三元、字母或者字母数字。
下文包括了在不同的互联网协议版本中以及在使用TCP或UDP时如何应用哈希的示例。这些示例旨在对应用哈希进行说明而并不用于限制范围。
示例1-IPV4：TCP/UDP
在本示例中，元组包括下列值的连接：源地址、目的地址、源端口和目的端口。因而，可由以下关系来表征该元组或输入字符串：INPUT[12]=12-15,16-19,20-21,22-23。条目n-m标识字节范围，即n=12,m=15，12-15。由下式表征对该输入字符串应用哈希：
Hash Result=ComputeHash(Input,12)
示例2-IPV4：其他
在本实施中，元组包括下列值的连接：源地址和目的地址。因而，可由以下关系来表征该元组或输入字符串：INPUT[8]=12-15,16-19。条目n-m标识字节范围，即n=12,m=15,12-15。由下式表征对该输入字符串应用哈希：
Hash Result=ComputeHash(Input,8)
示例3-IPV6：TCP/UDP
在本实施中，元组包括下列值的连接：源地址、目的地址、源端口和目的端口。因而，可由以下关系来表征该元组或输入字符串：INPUT[36]=8-23,24-39，40-41，42-43。条目n-m标识字节范围，即n=8,m=23,8-23。由下式表征对该输入字符串应用哈希：
Hash Result=ComputeHash(Input,36)
示例4-IPV6：其他
在本实施中，元组包括下列值的连接：源地址和目的地址。因而，可由以下关系来表征该元组或输入字符串：INPUT[32]=8-23,24-39。条目n-m标识字节范围，即n=8,m=23,8-23。由下式表征对该输入字符串应用哈希：
Hash Result=ComputeHash(Input,32)
在一些实施例中，当多核系统545拦截或以其他方式处理没有使用互联网协议的数据分组和/或网络流量时，不计算哈希。在该实施例中，可将非IP分组或流量路由到默认核505。该核505可专用于处理非IP分组或者可为该非IP网络流量的操作或处理分配一定数量的资源。
图7A-7D示出的框图描述了用于将数据分组分发到核505上的逻辑队列和NIC552上的发送/接收队列的多核系统545的实施例。多核系统545中包括一个或多个处理核505A-505N（总的称为核505），其执行一个或多个分组引擎548A-548N（总的称为分组引擎548）。在一些方面，每个分组引擎包括至少一个逻辑接收队列604和至少一个逻辑发送队列602。多核系统545内包括流分布器550和网络接口卡（NIC）552。在一些实施例中，流分布器550可包括接口模块612，而NIC552可包括RSS模块560以及至少一个接收队列622和至少一个发送队列620。
仍参考图7A-7D，在一些实施例中，多核系统545可以是本文描述的任何多核系统545。因而，可在设备200或计算机器上建立该多核系统545。在一些实施例中，可在设备200上执行多核系统545的部分，而在计算机器上执行该多核系统545的其他部分。在一些实施例中，可将多核系统545的执行分散到一个或多个设备200和/或一个或多个计算机器。
包含在多核系统545中的核505可以是本文描述的任何核505。每个核505可经由任何类型的核间通信系统与多核系统545中的其他核505通信。核505可通过在多核系统545的网络上发送数据分组，或通过将数据复制到全局高速缓存或存储装置内并向其他核传送下载指令来进行通信。多核系统545中可包括任意“N”个核505，其中“N”是大于零的整数。更进一步，核505可以是任何处理器和本文描述的任何处理器。在一些实施例中，每个核505是同一类型的核且同一大小，然而在其他实施例中，包含在多核系统545中的核505之间的核的类型以及核的大小不同。
可在每个核505上执行一个或多个分组引擎548。在一些实施例中，每个核505执行至少一个分组引擎548，而在其他实施例中，部分核505执行至少一个分组引擎548。分组引擎548可以是本文描述的任何分组引擎548。分组引擎548可用于向由该分组引擎548接收的数据分组的元组应用上文描述的任何哈希。在一些实施例中，分组引擎548可管理来自核505的数据分组的发送，并且接收发送或分发到核505的数据分组。
在一个实施例中，每个分组引擎548可包括至少一个逻辑接收队列604和至少一个逻辑发送队列602。在一些实施例中，逻辑接收队列604可以是存储数据分组或通信数据的任何存储仓库或存储元素。在一些实例中，逻辑接收队列604可以是数组、列表、矩阵或用于顺序存储信息的其他数据结构。在一个实施例中，逻辑接收队列604是存储指向存储元素中存储的数据分组的指针或存储数据分组的表或数据库。
在大多数实施例中，逻辑接收队列604存储由分组引擎548接收的数据分组。可按照先进先出顺序或后进先出顺序将所接收的数据分组存储在逻辑接收队列604中。尽管在大多数实施例中，逻辑接收队列604包括存储仓库或存储元素，但在其他实施例中，该逻辑接收队列604可包括客户机或模块，其中该客户机或模块接收数据分组，并且根据下列任何标准在逻辑接收队列604存储元素中调整该数据分组：数据分组的类型、何时接收该数据分组、数据分组的源IP地址或端口、数据分组的目的IP地址或端口、数据分组的大小，或用于在逻辑接收队列604中整理数据分组的任何其他标准。在一些实施例中，每当将数据分组写入或复制到逻辑接收队列604中时，并且每当从逻辑接收队列604中排出或获取数据分组时，更新表中的条目。
逻辑接收队列604可从分组引擎548或从在核505上执行的任何其他通信模块接收数据分组。在一些实施例中，分组引擎548将从系统545接收的所有数据分组写入逻辑接收队列604。在其他实施例中，每个核505或分组引擎548还包括逻辑NIC（未示出），该逻辑NIC接收发送到核505的数据分组并且在逻辑接收队列604中进一步存储那些数据分组。在该实施例中，逻辑NIC内可包括逻辑接收队列604。类似地，在一些实施例中，分组引擎548内可包括逻辑NIC。
在一些实施例中，逻辑发送队列602可以是存储数据分组或通信数据的任何存储仓库或存储元素。在一些实施例中，逻辑发送队列602可以是数组、列表、矩阵或用于顺序存储信息的其他数据结构。在一个实施例中，逻辑发送队列602是存储指向存储元素中存储的数据分组的指针或存储数据分组的表或数据库。
在大多数实施例中，逻辑发送队列602存储由分组引擎548或核505发送的数据分组。可根据先进先出顺序或后进先出顺序在逻辑发送队列602中存储发送的数据分组。尽管在大多数实施例中，该逻辑发送队列602包括存储仓库或存储元素，但在其他实施例中，该逻辑发送队列602可包括客户机或模块，该客户机或模块接收发送的数据分组并且根据以下任何规则在逻辑发送队列602存储元素中调整该数据分组：数据分组的类型、何时接收该数据分组、数据分组的源IP地址或端口、数据分组的目的IP地址或端口、数据分组的大小，或用于在逻辑发送队列602中整理数据分组的任何其他标准。在一些实施例中，每当将数据分组写入或复制到逻辑发送队列602中时，并且每当从逻辑发送队列602中排出或获取数据分组时，更新表中的条目。
逻辑发送队列602可从分组引擎548或从在核505上执行的任何其他通信模块接收数据分组。在一些实施例中，分组引擎548将从核505或从核505上执行的应用接收的所有数据分组写入逻辑发送队列602。在其他实施例中，每个核505或分组引擎548还包括逻辑NIC（未示出），该逻辑NIC接收由核505和/或分组引擎548生成或修改的、由分组引擎548或核505发送到目的地的数据分组并且在逻辑发送队列602中存储那些数据分组。在该实施例中，逻辑NIC内可包括逻辑发送队列602。类似地，在一些实施例中，分组引擎548内可包括逻辑NIC。
多核系统545中还可以包括流分布器550，在一些实施例中该流分布器可以是任何流分布程序、模块或对象。在一些实施例中，流分布器550可以是本文描述的任何流分布器。在大多数情况下，流分布器接收由多核系统545接收的网络流量并且在多核系统545中的核505之间分发该网络流量。分发网络流量可包括从数据分组提取信息，其中可连接该信息以形成字符串或元组。向该元组应用上述任何哈希的结果可以识别多核系统545中的核505。基于向元组应用哈希，流分布器550在多核系统545中的核505之间分发数据分组。
在一些实施例中，流分布器550可包括接口模块612，该接口模块612与每个分组引擎548内的逻辑接收队列604和逻辑发送队列602相接口。接口模块612还可以与NIC552上的发送队列620和接收队列622相接口。当NIC552接收数据分组时，可将该数据分组存储在NIC接收队列622中。接口模块612依次排出NIC接收队列622并且将所接收的数据分组分发到每个核的分组引擎548中的逻辑接收队列612。因而，在一些实施例中，接口模块612与流分布器550协同操作，从而从NIC接收队列622和逻辑发送队列602中获取、排出或以其他方式拖出信息，并且将信息写入或以其他方式存储到逻辑接收队列604和NIC发送队列620中。所存储和获取的信息可包括数据分组以及存储在发送或接收队列中的任何其他信息。
尽管图7A-7D描述了包括接口模块612的流分布器550，但在一些实施例中，流分布器550不包括接口模块612。而是，由流分布器550执行接口模块612的上述功能。因而，流分布器550从NIC接收队列622和逻辑发送队列602获取、排出或以其他方式拖出信息，并且将信息写入或以其他方式存储到逻辑接收队列604和NIC发送队列620中。
多核系统545中还可以包括NIC552。在大多数实施例中，NIC552可以是任何网络接口卡或者还可以是本文描述的任何NIC。尽管图7A-7D描述了具有单个NIC552的多核系统545，但在一些实施例中，多核系统545包括多个NIC。在一些实施例中，每个NIC552可包括发送队列620和接收队列622。在一些实施例中，发送队列620可从多核系统545接收数据分组并且通过网络将那些数据分组发送到目的地。在其他实施例中，发送队列620可与流分布器550、RSS模块650、接口模块612或多核系统545中的任何其他核通信模块直接通信，来接收由多核系统545生成、修改或处理的数据分组。
在一些实施例中，接收队列622可接收来自通过网络发送信息到多核系统545的远程计算机器和/或设备的数据分组。在一些实施例中，当NIC552接收来自连接到多核系统545的网络的网络流量或数据分组时，将所接收的数据分组存储到NIC接收队列622中。可通过流分布器550、RSS模块560和接口模块612访问或排出该接收队列622。
在一些实施例中，NIC552还包括RSS模块560。该RSS模块560可以是任何RSS模块560并且还可以是本文描述的任何RSS模块560。在一些实施例中，RSS模块560与流分布器550的操作大体相似，这是因为RSS模块560基于应用到每个数据分组元组的哈希在多核系统545中的核505之间分发数据分组。该哈希可以是上述任何哈希，且哈希的结果识别多核系统545中的至少一个核。
尽管图7A-7D示出的多核系统545包括具有RSS模块560的NIC552和流分布器550，但在一些实施例中，多核系统545可仅包括流分布器550。在这些实施例中，流分布器550根据哈希的应用来处理分发数据分组。在其他实施例中，多核系统545可仅包括具有RSS模块560的NIC552。在这些实施例中，RSS模块560根据哈希的应用来处理分发数据分组。
在一些实施例中，每个逻辑发送队列602和逻辑接收队列603可具有缓冲区（未示出），该缓冲区存储值，该值可包含校验和卸载（check sumoffload）、分组引擎548的物理地址以及类似信息，每个逻辑队列可在该缓冲区中进行操作。这些值可称为地址、描述符或伪描述符，并且在大多数实施例中可存储在与每个逻辑队列关联的缓冲区中。因而，第一逻辑发送队列可与存储关于分组引擎548的描述符的缓冲区关联，其中该第一逻辑发送队列在该分组引擎548内执行，并且在一些情况下，第一逻辑发送队列可与存储关于核505的描述符的缓冲区关联，其中该第一逻辑发送队列在该核505上执行。这些描述符可由接口模块612用于配置NIC552。
在其他实施例中，可为每个分组引擎548提供对缓冲区（未示出）的读和写访问权限，其中该缓冲区对多核系统545中的每个组件和模块可用。在一些实施例中，每个分组引擎548可写入信息，该信息可由接口模块612访问并且用于配置NIC552。该信息可包括校验和卸载、分组引擎的物理地址和其他类似信息。
仍参考图7A且具体而言，在一个实施例中，NIC552中可包括流分布器550。在这些实施例中，每个核与NIC552直接通信。在一些实例中，流分布器550通过中继从核505到NIC552中的模块的通信，来促成核505和NIC552之间的通信。在其他实例中，在核505上执行的分组引擎548与NIC552、流分布器550或RSS模块560直接通信。
进一步参考图7B且具体而言，在一些实施例中，流分布器550可包含在单个核505上而不是包含在NIC552中。该核505可以是第一核505，或者在一些实施例中是多核系统505中的控制核。当流分布器550包含在第一核505中时，流分布器可与多核系统545中的任何核505，以及NIC552和RSS模块560相接口。
进一步参考图7C且具体而言，在一些实施例中，多核系统545中的每个核505上可包括单独的流分布器550A-550N或流分布器550A-550N的实例。在该实施例中，每个流分布器550A-550N可与在该特定核505中的分组引擎548相交互，以及与NIC552和RSS模块560相交互。
进一步参考图7D且具体而言，在一些实施例中，流分布器可包括在多核系统545中的内核610中。该内核610可以是任何操作系统内核。此外，流分布器550可与每个核505和每个分组引擎548通信，以及同NIC552和RSS模块560通信。
图8中描述的是用于在多核系统545中的核505之间分发数据分组的方法800的一个实施例。在一个实施例中，多核系统545接收数据分组（步骤802）并且流分布器550或RRS模块560识别该数据分组的元组（步骤804）。在识别该元组之后，将上文描述的哈希应用到所识别的元组（步骤806）以生成结果值。在大部分实施例中，该结果值识别多核系统545中的核505。RSS模块560或流分布器550将数据分组发送到由结果哈希值识别的核505（步骤808）。在一些实施例中，所选核505上的分组引擎548接收该数据分组并且选择所选核505的IP地址和端口（步骤810）。接着，分组引擎548可确定所选IP地址、所选端口和元组的部分的哈希是否生成识别所选核505的值。当确定由应用到上述元组的哈希所生成的值识别所选核505时，分组引擎548用所选IP地址和端口修改该元组（步骤814）。一旦修改元组，在所选核505上执行的分组引擎548或其他模块将修改的数据分组转发到远程计算机器（816）。
进一步参考图8且具体而言，在一个实施例中，多核系统545中的NIC552接收通过网络104发送到该多核系统545的一个或多个数据分组（步骤802）。在一个实施例中，流分布器从NIC552获得数据分组。在其他实施例中，RSS模块560、分组引擎548或者其他分布模块或程序从NIC552排出或以任何方式获得数据分组。流分布器可从NIC552上的接收队列排出或获取数据分组。
一旦流分布器550接收数据分组，流分布器或分布模块可识别该数据分组的元组（步骤804）。在一些实施例中，该元组可包括下列值的任何组合：客户机IP地址、目的IP地址、客户机端口、目的端口，或者任何其他IP地址、端口或其他源或目的标识值。在一些实施例中，客户机IP地址可以是源IP地址。类似地，在一些实施例中客户机端口可以是源端口。在一些实施例中，识别数据分组的元组可包括通过连接上文中提到的任意值来创建字符串，从而生成元组。在一些实施例中，该元组是字符串或者是值的数组。
在一些实施例中，通过对所识别的元组应用上述哈希来计算哈希或哈希值（步骤806）。该哈希值可称作下列任一名称：哈希、哈希值、结果值、结果或值。可由流分布器550或在多核系统545内执行的任何其他分布模块来应用该哈希。
在应用哈希后，可做出确定，该确定关于结果值是否识别多核系统545中的核505。当哈希结果识别特定核505时，由流分布器550或由任何其他流分布模块将该数据分组转发到所识别的核505（步骤808）。在一些实施例中，该哈希结果可能不能识别多核系统545中的核505。在这些实施例中，可将数据分组转发到多核系统545中的默认核505。在其他实施例中，数据分组可能不具有关联的元组。在那些实施例中，可将数据分组转发到多核系统545中的默认核505。
在将数据分组转发到所识别的核505时，在所识别的核505上执行的分组引擎548或者其他模块或引擎可接收转发的数据分组。在一些实施例中，在所识别的核505上执行的通信模块接收该数据分组并且将该数据分组转发到所识别的核505上的分组引擎548。一旦分组引擎548接收该转发的分组，该分组引擎548可选择该核505的IP地址和该核的端口（步骤810）。在一些实施例中，该IP地址可以是多核系统545的IP地址或设备200的IP地址。在其他实施例中，该IP地址可以是核505的IP地址。核505可具有一个或多个IP地址，因此在一些实施例中，分组引擎548可基于确定IP地址连同所选端口和第一元组的部分是否识别所识别的核505，来选择IP地址。
选择核505的端口可包括搜索与所选核505关联的端口以识别一个端口，其中当第一元组包括该端口时，该端口识别所选核505。在一些实施例中，分组引擎548可循环访问核505的每个IP地址及核505的每个端口来确定IP地址/端口的组合，其中该IP地址/端口的组合识别所选核505。例如，所选核505可以是具有包括客户机IP地址、客户机端口、目的IP地址和目的端口的元组的第一核505。分组引擎548可修改该元组使其包括所选IP地址、所选端口、目的IP地址和目的端口。在永久修改数据分组之前，分组引擎548首先向所修改的元组应用上述哈希（步骤812）。如果结果哈希值识别第一核505，那么分组引擎548永久修改数据分组，将客户机IP地址替换或改变为所选IP地址，并且将客户机端口替换或改变为所选端口。如果结果哈希值不识别第一核505，那么分组引擎548改变所选IP地址和所选端口中的一个或全部，并且再次应用哈希。
在应用上述哈希（步骤812）核实所选IP地址和所选端口（当结合了目的IP地址和目的端口时）识别所选核505之后，分组引擎然后可修改数据分组使得元组包括：所选IP地址、目的IP地址、所选端口和目的端口（814）。在该实施例中，元组中不再包含客户机IP地址和客户机端口。相反，这些值已经由所选IP地址和所选端口代替。
在多个实施例中，在修改了数据分组和元组后，分组引擎548将更新的数据分组和元组发送到远程计算装置（步骤816）。在一些实施例中，该远程计算装置可以是客户机、服务器或者远离多核系统545的另一计算机器或设备。在其他实施例中，分组引擎548可将修改的数据分组发送到中间装置，该中间装置将数据分组转发到目的位置。在一些实施例中，由目的IP地址和/或目的端口标识该目的位置。
图9描述了用于在多核系统545中的核505之间分发网络流量的方法900的实施例。图9中描述的方法900描述了核505上的分组引擎如何处理所接收的数据分组。分组引擎548接收分配的数据分组（步骤902）并且选择核505的IP地址，其中分组引擎548在该核505上执行（步骤904）。分组引擎548还从核505上的多个端口或从核505的多个端口中选择端口（步骤906）。一旦选择了IP地址和端口，分组引擎548接着确定所选IP地址和所选端口连同目的IP地址和目的端口的哈希是否会识别当前核505。特别地，分组引擎548确定所选端口是否会识别当前核505（步骤908）。当确定所选端口将不会识别当前核505时，分组引擎548从与核505关联的端口中选择下一个端口（步骤906）。当确定所选端口会识别当前核505时，分组引擎548下一步确定所选端口是否打开或以其他方式可用（步骤910）。当确定所选端口未打开，则分组引擎548从与核505关联的端口中选择下一端口（步骤906）。当确定所选端口是打开的或以其他方式可用，则分组引擎548用所选IP地址和所选端口修改数据分组（步骤912）并且将数据分组及其修改的元组转发到远程计算机器（步骤914）。
仍参考图9且具体而言，在一个实施例中，可由在核505上执行的分组引擎548来执行方法900。在另一个实施例中，可由在核505上执行的流分布器550或流分布器的实例来执行方法900。在其他实施例中，可由能够在核505上执行的任何流分布模块或代理来执行方法900。尽管图9关注的是在特定核505上处理可部分修改的数据分组，但在一些实施例中，可由多核系统545中的控制核来处理对该数据分组的修改。
用于执行图9描述的方法900的步骤的分组引擎548可在特定核505上执行。在大多数实施例中，有在图8中描述的方法800提前选择该核505。因此在大多数实例中，基于向数据分组的元组应用上述哈希，由分组引擎548接收的数据分组已经被分配到核505。在大部分情况下，该元组至少包括客户机IP地址、目的IP地址、客户机端口和目的端口。在一些实施例中，该元组可以是上文中描述的任何元组且可以包括任何数量的源或目的标识值。在其他实施例中，客户机IP地址可以是源IP地址，该源IP地址标识该数据分组来自的机器。类似地，客户机端口可以是源端口。
在一个实施例中，在多核系统545中的特定核505上执行的分组引擎548接收分配给特定核505的数据分组（步骤902）。分组引擎548可直接接收数据分组，或者在一些实施例中，在核505上执行的通信模块可接收和发送该数据分组。在其他实施例中，在核505上执行的虚拟NIC（未示出）可接收和发送数据分组。在一些实施例中，接收数据分组还可以包括从核505上的逻辑接收队列排出数据分组。逻辑接收队列可存储发送到核505的数据分组。分组引擎548可通过根据先进先出访问方法从该接收队列中排出或以其他方式获取数据分组来访问逻辑接收队列中的数据分组。另一种可能的访问方法可以是先进后出。
当分组引擎548获得数据分组，在一些实施例中，该分组引擎548可确定是否可以修改该数据分组。在确定可修改数据分组的哪些部分后，分组引擎548可修改该数据分组。在一些实施例中，可将多核系统545配置为指示在多核系统545内执行的分组引擎548仅修改数据分组的某些部分。
在一些实施例中，分组引擎548可从与核505关联的一个或多个IP地址中选择核505的IP地址（步骤904）。核505可具有多个IP地址，且在一些实施例中可具有IP地址范围。在其他实施例中，核505可具有单个IP地址。尽管在一些实施例中，分组引擎548选择核505的IP地址，但在其他实施例中，分组引擎548可选择多核系统545的IP地址或多核系统545中的设备200的IP地址。
一旦选择了IP地址，分组引擎548可接着从核505的多个端口中选择端口（步骤906）。核505可具有一个或多个端口，且在一些实施例中可在端口分配表中存储多核系统545的每个端口505的列表。选择端口可包括逐个循环列举了核505的每个端口的端口分配表的条目并且选择端口号。可基于端口号或基于在端口分配表中列举端口的顺序来按数字顺序逐个循环端口。在其他实施例中，分组引擎548可通过逐个循环对应于核505上可能端口号的数字或值的范围来选择端口。
在一些实施例中，分组引擎548可选择第一端口（步骤906）并且接着确定该端口是否是正确的端口（步骤908）以及该端口是否可用或打开（步骤910）。如果所选的第一端口不是正确的端口或者不可用或没打开，则分组引擎548可选择下一端口，即核505的第二端口，并且再次确定该端口是否是正确的端口（步骤908）以及该端口是否可用或打开（步骤910）。在大多数实施例中，分组引擎548逐个循环所有可能的端口直到分组引擎548识别既是正确的又是打开的端口。
一旦分组引擎548选择了端口，该分组引擎首先通过确定所选端口是否会产生响应分组返回所选核来确定所选端口是否是正确的端口（步骤908）。可通过向元组应用上述哈希来做出该确定，该元组包含下列值的连接：所选IP地址、目的地址、所选端口和目的端口。向该元组应用上述哈希生成结果哈希值，该结果哈希值识别或不识别核505，其中分组引擎548当前正在该核505上执行。可通过分组引擎548或在核505上执行的流分布器550的实例来执行对元组值进行连接以生成元组。类似地，可通过分组引擎548或流分布器的实例来执行向元组应用哈希。当结果哈希值识别当前或所选核505，则所选端口是正确的端口，因为其将产生响应分组返回给当前核505。当结果哈希值不识别当前或所选核505，则所选端口不是正确的端口，因为其不会产生响应分组返回给当前核505。在这种情况下，分组引擎548将选择另一端口（步骤906）并且重复确定该端口是否是正确的端口的过程（步骤910）。
当确定所选端口是正确的端口（步骤908），接着做出关于该端口是否可用或打开的确定（912）。在大多数实施例中，当下列任何一个为真（true）时端口是打开的或可用的：该端口没有被使用，或者该端口可使用。相反，当下列任何一个为真时，端口没打开或不可用：已将该端口分配给另一事务、服务或数据分组，或者网络管理员或多核系统545已将该端口关闭。端口是否可用或打开是一个特征，在很多实施例中由端口分配表来跟踪该特征。端口分配表可以是上述任何端口分配表并且可以存储在上文描述的可存储端口表的任何位置中。在一些实施例中，在分组引擎548确定端口是正确的端口后，分组引擎548可通过查询端口分配表关于特定端口的细节、属性或特征来确定该端口可用。当响应指示端口是打开的且还没有将该端口分配给任何其他数据分组、事务或服务器时，分组引擎548接着用所选IP地址和所选端口修改元组。然而，当响应指示端口是不可用的或没有打开，分组引擎548选择另一端口（步骤906）并且重复确认该端口是否是正确的端口（步骤908）以及该端口是否打开且可用（910）的过程。
当分组引擎548选择正确的、打开的和可用端口时，分组引擎548接着更新数据分组并且因此更新该数据分组的元组使其包括所选IP地址和所选端口（步骤912）。修改或更新元组可包括作出导致该元组包括下列内容所需的任何修改：所选IP地址、目的IP地址、所选端口和目的端口。因此，可由所选IP地址和所选端口代替客户机IP地址和客户机端口信息。
在修改数据分组之后，分组引擎548可将修改的数据分组发送到远程计算机器（步骤914）。将修改的数据分组发送到远程计算机器可包括将修改的数据分组发送到由目的IP地址和/或目的端口识别的客户机、服务器、设备或计算机器。在一些实施例中，在将数据分组发送到其目标计算机器或设备之前，将该修改的数据分组发送到代理服务器或设备。在其他实施例中，在将修改的数据分组发送到其目的计算机器或设备之前，将该修改的数据分组存储到多核系统545内的存储元素中。在一些实施例中，存储元素可以是全局高速缓存或由多核系统545中的所有核和装置共享的其他存储元素。在其他实施例中，该存储元素可以是当前核505可访问的高速缓存或其他存储仓库。
尽管图8和9描述了其中用由特定核505上的分组引擎548选择的IP地址和端口来修改或替换客户机IP地址和客户机端口的方法，但图10A描述了其中维护客户机IP地址和客户机端口的一个系统。在一些系统中，服务器群的所有者或网络（其中多核系统545在该网络中执行）的管理者可要求每个数据分组保留其原始的源IP地址和源端口。管理员可因为各种原因而想要这样做，那些原因中的一些可能包括出于安全的目的、为了行销的目的、为了跟踪网络访问、为限制网络访问或处于任何其他原因。通过允许每个数据分组保留其源IP地址或源端口，可跟踪和控制每个数据分组。例如，知道数据分组的来源可允许系统阻止特定IP地址或域访问网络。类似地，知道数据分组的来源可允许系统跟踪访问网络或域的用户的地理位置。在大多数情况下，知道源IP地址和源端口允许系统识别分组起源的位置，并且不管系统是否处理该特定数据分组允许系统进一步控制该特定数据分组。
图10描述了用于从逻辑发送队列获得数据分组且将该数据分组转发到NIC552上的逻辑发送队列的方法1000的一个实施例。尽管将方法1000描述为由接口模块612来执行，但方法1000还可以由RSS模块560或流分布器550来执行。从第一核上的第一逻辑发送队列获得第一数据分组（步骤1002）且从第二核上的第二逻辑发送队列获得第二数据分组（步骤1004）。接口模块612可将第一数据分组存储在NIC发送队列620中（步骤1006），之后NIC552可通过网络将第一数据分组从多核系统545发送出去（步骤1008）。接着，接口模块612可将第二数据分组存储在NIC发送队列620中（步骤1010），之后NIC552可通过网络将第二数据分组从多核系统545发送出去（步骤1012）。
仍参考图10且具体而言，在一个实施例中，接口模块612可从第一核的第一逻辑队列中获得第一数据分组（步骤1002），并且可从第二核的第二逻辑队列获得第二数据分组（步骤1004）。从核505上的逻辑发送队列获得数据分组可包括关于数据轮询每个逻辑发送队列。在一个实施例中，接口模块612在预定时间段内以循环的方式轮询每个逻辑队列。例如，接口模块612每毫秒可通过确定与第一逻辑发送队列关联的存储仓库或缓冲区是否为空来轮询第一逻辑发送队列。在一些实施例中，做出该确定可包括将第一逻辑发送队列的内容复制到临时缓冲区，并且确定该缓冲区的元素是否等于空。在其他实施例中，接口模块612可搜索第一逻辑发送队列的数组或缓冲区以确定该缓冲区是否为空。当接口模块612确定第一逻辑队列具有数据时，接口模块612下载所存储的数据分组并且将它们转发到NIC发送队列620（步骤1006），之后将它们发送到数据分组中的目的地址。在接口模块612从第一逻辑队列下载数据分组后，和/或当接口模块12确定第一逻辑队列为空时，该接口模块612移到第二逻辑发送队列并且重复上述过程。
在一些实施例中，循环轮询逻辑发送队列。在其他实施例中，分批循环轮询逻辑发送队列。在其他实施例中，根据下列标准集合中任何一个指定的顺序来轮询逻辑发送队列：与每个核或逻辑发送队列关联的优先级、最后一次从逻辑发送队列排出数据分组后持续的时间、与存储逻辑发送队列的核关联的函数、与每个核505关联的活动级别、指示最有可能存储数据分组的逻辑发送队列的概率分布、当数据分组存储在逻辑发送队列中时由分组引擎提交的投票（vote）、在该逻辑发送队列中可以采用先进先出或后进先出的方式处理投票，或者由管理员、用户、程序或系统指示的任意顺序。
尽管方法1000描述了获得第一和第二数据分组，但方法100可包括获得任何数量的数据分组。而且，方法1000可一次获得任何数量的数据分组。在一个实施例中，接口模块612可排出整个逻辑发送队列，而在其他实施例中，接口模块612可排出预定量的数据或预定数量的数据分组。更进一步，在一些实施例中，接口模块612可在预定时段排出逻辑发送队列。
一旦从逻辑发送队列获得数据分组，将该数据分组存储到NIC发送队列620中（步骤1006、1010）。在NIC发送队列620中存储数据分组可包括将该数据分组写入与NIC发送队列620对应的在NIC552中的存储元素。NIC发送队列620可包括下列中的任何一个：存储元素、缓冲区、数组、列表、高速缓存，或任何其他存储仓库。因此，在将数据分组存储到NIC发送队列620中时，接口模块612将数据分组存储到与NIC发送队列620关联的存储仓库中。
在一些实施例中，将数据分组存储到NIC发送队列620中还可以包括在将一个或多个数据分组存储到NIC发送队列620中之前，下载与分组引擎关联的配置信息，并且使用该配置信息配置NIC552。获得或以其他方式下载配置信息可包括从与逻辑发送队列（从该逻辑发送队列获得数据分组）关联的缓冲区中排出配置信息。在其他实施例中，获得配置信息可包括从接口模块612和每个分组引擎548可访问的公用缓冲区中复制配置信息。配置信息可包括校验和卸载、分组引擎的物理地址和任何其他这样的信息。
当接口模块612获得配置信息时，接口模块612可在将数据分组复制到NIC发送队列620中之前配置NIC552。配置信息可根据分组引擎的不同而不同，因而每当接口模块612从新核505复制信息时该接口模块612重新配置NIC552。例如，接口模块612可获得与第一逻辑发送队列关联的配置信息，使用该信息配置NIC并且接着将第一数据分组存储到NIC发送队列620中（步骤1006）。类似地，接口模块612可获得与第二逻辑发送队列关联的配置信息，使用该信息配置NIC，并且接着将第二数据分组存储到NIC发送队列620中（步骤1010）。
在配置完NIC552且将数据分组存储到发送队列620中之后，NIC552可将该数据分组发送到目的地（步骤1008、1012）。NIC552可从数据分组头部或从与该数据分组关联的元数据获得目的地址或位置。一旦获得该信息，NIC552可将数据分组通过网络从多核系统545发送出去。
图11描述了用于将由多核系统545接收的数据分组分发到多核系统545中的逻辑接收队列602的方法1100的实施例。NIC552可接收第一数据分组和第二数据分组（步骤1102）并且将两个数据分组存储在NIC接收队列622中（步骤1104）。在将数据分组存储到NIC接收队列622之后，由接口模块612获得这些数据分组，该接口模块对每个数据分组的元组应用哈希（步骤1106、步骤1110）。应用该哈希的结果识别多核系统545中的核505，即第一数据分组的元组的哈希识别第一核（步骤1106），而第二数据分组的元组的哈希识别第二核（步骤1110）。一旦识别了核，将数据分组存储到那些核各自的逻辑接收队列中，即，将第一数据分组存储到第一核的第一逻辑接收队列中（步骤1108），并且将第二数据分组存储到第二核的第二逻辑接收队列中（步骤1112）。
仍参考图11且具体而言，在一个实施例中，NIC接收第一数据分组和第二数据分组（步骤1102）并且将它们存储在NIC接收队列622中（步骤1104）。将第一和第二数据分组存储到NIC接收队列622中可包括将数据分组写入与NIC接收队列622对应的在NIC552中的存储元素。NIC发送队列622可包括下列的任何一个：存储元素、缓冲区、数组、列表、高速缓存或任何其他数据仓库。因此，在将数据分组存储到NIC接收队列622中时，可将该数据分组存储到与该NIC接收队列622关联的存储仓库中。
一旦将数据分组存储到NIC接收队列622中，接口模块612可从NIC接收队列622中排出数据分组。在其他实施例中，下列模块或对象的任何一个可从接收队列622中排出存储的数据分组：流分布器550、RSS模块560，或者任何分组引擎548。接口模块612可定期地排出接收队列622，或者可以在接收模块612确定接收队列622包含数据分组时排出接收队列622。在一些实施例中，当将第一数据分组写入NIC接收队列622时，可设置标志指示接收队列622包含未分配的数据分组。在其他实施例中，接口模块612可持续地排出接收队列622。在其他实施例中，当NIC522接收数据分组且将它们存储到NIC接收队列622中时，NIC552上的模块可将接收的数据分组发送到接口模块612。
在一个实施例中，接口模块612可一次从NIC接收队列622获得数据分组。在其他实施例中，接口模块612可排出预定数量的数据分组、预定量的数据或者可以在预定长度的时间内持续从NIC接收队列622排出数据分组。在其他实施例中，接口模块612可排出对应于公用元组的所有数据分组、等待预定时间段，并且排出对应于第二公用元组的第二组数据分组。
一旦接口模块612从NIC接收队列622获得数据分组，接口模块612、流分布器550或RSS模块560可向第一数据分组的元组应用上述任何哈希（步骤1106）并且向第二数据分组的元组应用上述任何哈希（步骤1110）。该元组可以是上述任何元组并且在一些实施例中可包括：源IP地址、目的IP地址、源端口和目的端口。向第一数据分组的元组应用哈希的结果可识别第一核（步骤1106）。类似地，向第二数据分组的元组应用哈希的结果可识别第二核（步骤1110）。
一旦核被识别，接口模块612可将每个数据分组存储在它们各自的逻辑队列中。可将第一数据分组存储在第一核上的第一逻辑接收队列中（步骤1108），而将第二数据分组存储在第二核上的第二逻辑接收队列中（步骤1112）。将数据分组存储在逻辑接收队列中可包括将数据分组数据复制、存储到或以其他方式写入缓冲区、高速缓存、数组、列表或包括逻辑接收队列的其他存储仓库。
G.用于半虚拟化NIC驱动程序的系统和方法
现参考图12A和12B，描述了用于提供或实现半虚拟化驱动程序的系统和方法。如上文至少结合图4A-4C所描述的，可在虚拟环境中运行分组引擎或应用传送控制器的实施例，例如图4C的虚拟化环境400中的虚拟化ADC450。在虚拟化环境中运行的分组引擎或ADC可称作VPX。此外，鉴于图5A-5C的多核系统的实施例，可在多个核上运行任何虚拟化环境。该环境可称作多核或nCore VPX。在上文中结合图7-11描述了在这种多核系统中管理和处理网络通信的实施例。
参考图12A，描述了在装置的处理器或核上运行的VPX的实施例。在一些实施例中，可在管理程序上运行VPX，该管理程序例如是Xen管理程序，该管理程序使用半虚拟化NIC驱动程序来接收和发送分组。在一些实施例中，将半虚拟化驱动程序设计和构造成支持多核VPX环境。在某些实施例中，驱动程序的一部分在核上执行的虚拟化域中运行，且驱动程序的另一部分在另一核上执行的另一虚拟化域中运行。在其他实施例中，多个驱动程序的其中之一可在一个核上执行的虚拟化域中运行，而另一驱动程序在另一核上执行的另一虚拟化域中运行。该驱动程序或驱动程序的部分可直接或间接地进行交互操作从而促成分组的接收和/或发送。
简要而言，管理程序可以在装置的处理器上运行，例如在本文描述的任何单个处理器设备上运行。管理程序可提供一个或多个客户操作系统，称作域或虚拟化域。第一域（诸如称作Dom0的域0）可提供特权域，该特权域可直接访问硬件（例如，网络接口硬件，如NIC）。DomU可以是具有较少特权的客户域。在DomU域上运行的VPX可提供分组处理引擎（例如，应用）。
通常在硬件装置（例如NIC或GPU）上执行非虚拟化平台上的I/O操作。软件堆栈可使用存储器映射I/O（MMIO）机制的某种形式与硬件装置相接口，其中，处理器可发出读和写特定存储器或端口地址范围的指令。该软件堆栈可包括在平台的OS中执行的驱动程序。读取和写入的值可对应于硬件装置中的直接功能。Dom0可提供或寄载具有访问真实NIC驱动程序的权限的TCP/IP堆栈。该TCP/IP堆栈可提供路由和桥接功能。DomU可提供或寄载具有TCP/IP堆栈的应用，例如本文描述的分组处理引擎（PPE）的任何实施例。
可选择半虚拟化驱动程序用于代替与硬件对应的原始或真实装置驱动程序来运行。在一些实施例中，半虚拟化驱动程序377是装置驱动程序的修改版本。例如，由于半虚拟化，半虚拟化驱动程序可在比标准硬件/软件接口更高的抽象层与域0（例如Dom0）实体直接交互。例如，域0实体可披露特定于I/O类型的API，用于发送和接收分组。在客户OS上执行的半虚拟化驱动程序可接着使用该I/O接口而不是与硬件装置接口直接交互。
Dom0和DomU可使用或支持分离装置驱动程序模式。该驱动程序（例如半虚拟化驱动程序）的部分（如驱动程序的前端和另一部分，如驱动程序的后端），可在不同的域中彼此隔离，并且可通由管理程序提供的机制进行通信。Dom0可操作分离驱动程序的一部分而DomU操作该驱动程序的另一部分。在一些实施例中，每个域或Dom运行相同的驱动程序或相同类型的驱动程序。分离驱动程序可经由共享存储器接口或由管理程序提供的其他机制进行通信。该驱动程序可包括本文描述的分组引擎或其任何组件的任何实施例。在一些实施例中，一个机制可包括在由管理程序提供的共享存储分段的顶部建立的I/O环或队列。
图12A描述了在DomU中执行或运行的VPX PPE接收和发送的流、RX/TX、通信的实施例。DomU可与DomO通信以进行分组传输。DomU可与Dom0共享RX和/或TX环。可经由管理程序通过管理程序调用产生域间通信。在驱动程序的初始化期间，DomU可以用来自存储器缓冲区（有时称作mbuf）的数据填充RX环。DomU可建立与Dom0的通知通道。域可以使用该通知通道来指示共享RX和TX环上分组的接收和/或发送。
在分组接收（RX）的进一步的细节中，可由Dom0从一个或多个物理NIC接收分组。Dom0可将这些分组经由共享RX环发送到DomU。环有时称作队列、缓冲区、高速缓存或其他存储结构。可为环或队列分配一定量的存储器并且该环或队列可包括用于保持信息或分组的一个或多个数据结构。Dom0可向DomU发送通知，指示分组在共享环上。环可包括任何缓冲、存储或运输结构和/或机制，例如队列。DomU可获得该通知。在一些实施例中，DomU可能对该通知不采取任何行动并且可能简单地回复（例如，响应或通知）。在DomU的net I/O循环（例如netio循环）期间，DomU可经由分离驱动程序轮询RX环，以检查任何分组的接收。该检查可基于检测读取和写入描述符的区别。例如，可将分配、使用或处理的读取描述符的数量与分配、使用或处理的写入描述符的数量作比较。在一些实施例中，DomU检测从RX环读取的分组数量与向RX环上写入的分组数量之间是否存在区别。如果该区别显示存在一些分组，DomU可经由分离驱动程序模式从RX环中读取一些或全部分组。接着，DomU可将这些分组从存储器缓冲区（例如，mbuf数据结构）转换为分组引擎数据结构，有时称作nsb。DomU可将该nsb移到堆栈用于处理。DomU还可以经由分离驱动程序模式，用新的mbuf填充该RX环。
在分组发送的进一步的细节中，分组处理引擎可向驱动程序发送或移交nsb。该驱动程序接着可以将这些nsb转换为mbuf并且将该mbuf通过共享TX环发送到Dom0。DomU还可以向Dom0发送通知，指示在共享环上存在（例如，新的或未读取的）分组。Dom0可以在其netio（例如，网、网络或网络接口输入/输出）循环中通过调用函数（例如，tx_proc函数或例程）来回收或获得发送的mbuf。
现参考图12B，描述多核环境中VPX的RX/TX通信。多个分组引擎中的每一个可在对应的域（例如DomU1-N）中运行。在一些实施例中，多个PPE可在一个或多个域中执行。可经由超级调用或管理程序系统API调用来产生DomU和Dom0之间的交互，其中仅能在内核存储空间中进行超级调用或管理程序系统API调用。在一些实施例中，以与图12A所说明的大体相同的方式产生DomU和Dom0之间的分组传输。
在进一步的细节中，可由Dom0从物理NIC接收分组，该分组可经由共享RX环发送到DomU。Dom0还可以向DomU发送通知，指示该分组在共享环上。DomU可例如在内核空间中接收该通知。通知处理器可在到来的分组上计算RSS哈希并且可将这些mbuf放到在内核空间中维护的对应的PPE环上。在netio循环期间，PPE可轮询RX环来检查任何分组的接收。该检查可基于共享的读取和写入描述符之间的区别。如果该区别显示存在一些分组，PPE可做出系统调用从该RX环中抽出或获得分组。在做出系统调用前，PPE可分配多个nsb（例如，读取索引-写入索引）并且可将mbuf复制到内核存储空间中的nsb中。PPE还可以用新的mbuf填充RX环。每个PPE可在内核存储空间中具有其自己的队列并且可独立访问该队列而不需要应用锁（例如，用于拒绝访问）。
PPE可在用户存储空间中维护的TX环内积累所发送的nsb用于发送。在PPE的netio循环期间，如果TX环中存在nsb，则PPE可做出系统调用以向Dom0发送这些分组中的一些或全部。在内核空间中，可将这些nsb转换为mbuf并且将其通过共享TX环发送到Dom0。PPE/domU还可以向Dom0发送通知，指示共享环上存在分组。在一些实施例中，在同一个系统调用中完成RX和TX。
图12C描述了用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法的一个实施例。在多核装置上执行的第一虚拟化域可经由多核装置的网络接口硬件（例如NIC）来接收分组（步骤1201）。该第一虚拟化域可包括具有直接访问网络接口硬件的权限的特权域。系统可将分组传递到虚拟化分组处理器的队列（步骤1203）。该虚拟化分组处理器可来自多个虚拟化分组处理器并且在多核装置的核上的第二虚拟化域中执行。该第二虚拟化域可来自不具有直接访问网络接口硬件的权限的多个虚拟化域。虚拟化分组处理器可确定该队列包括从该队列中读取的多个分组和向该队列中写入的多个分组之间的区别（步骤1205）。该虚拟化分组处理器可响应于该确定来处理来自该队列的分组（步骤1207）。
仍参考图12C且具体而言，在多核装置上执行的第一虚拟化域可经由多核装置的网络接口硬件接收分组（步骤1201）。该虚拟化域（例如，第一虚拟化域）可包括具有直接访问网络接口硬件的权限的特权域。有时将该虚拟化域一般性地称作Dom0、域0实体、控制域或控制虚拟机。该虚拟化域可包括或执行控制程序和/或驱动程序用来访问网络接口硬件（例如网络接口卡）。在一些实施例中，虚拟化域执行一个或多个半虚拟化驱动程序或其部分。虚拟化域可执行多核装置的用户存储空间中的一个或多个驱动程序。
虚拟化域可支持或使用分离驱动程序模型用于传递和/或处理分组。在这些实施例中，虚拟化域可执行与网络接口硬件（例如经由TCP/IP堆栈）交互的分离驱动程序。分离驱动程序可拦截、接收、重定向和/或传递由网络接口硬件接收的分组。在一些实施例中，分离驱动程序在TCP/IP协议栈层拦截或接收分组。部分因为该分离驱动程序，虚拟化域可具有对网络接口硬件的特权访问。在某些实施例中，虚拟化域中的分离驱动程序被配置为具有对网络接口硬件和/或TCP/IP堆栈的访问权限，用来运输所接收的分组。虚拟化域，或任何域0实体（例如管理程序或控制程序）可建立和/或配置分离驱动程序，以及在一个或多个其他虚拟化域（例如DomU）中的一个或多个其他分离驱动程序。分离驱动程序的集合可具有余函数，且在一些情况下，每个分离驱动程序可包括装置驱动程序的部分或特性。在某些实施例中，可将两个或更多分离驱动程序的集合共同称作单个驱动程序。
系统可将分组传递到虚拟化分组处理器的队列（步骤1203）。分离驱动程序可将分组传递到内核空间，用于将其转发到在另一虚拟化域中执行的虚拟化分组处理器。因而虚拟化分组处理器可能来自于多个虚拟化分组处理器。该虚拟化分组处理器可在多核装置的另一核上的另一（如第二）虚拟化域中执行。在一些实施例中，虚拟化域（例如，DomU或第二虚拟化域）在多核装置的用户存储空间中执行该虚拟化分组处理器。在其他实施例中，虚拟化域可以在内核空间或多核装置的任何存储空间中执行该虚拟化分组处理器。有时可将虚拟化分组处理器称作分组处理引擎、分组引擎或PPE。
在一些实施例中，虚拟化域可能不具有直接访问网络接口硬件的权限。例如，虚拟化域可能不具有对多核系统的网络接口硬件的存储器映射访问权限。该虚拟化域可来自于不具有直接访问网络接口硬件的权限的多个虚拟化域。在一些实施例中，可将网络接口硬件分配或指定到另一虚拟化域（例如DomU），并且该网络接口硬件对当前的虚拟化域可能不可用。在某些实施例中，阻止当前虚拟化域用于直接的网络输入/输出操作或者不将当前虚拟化域配置用于直接的网络输入/输出操作。该虚拟化域可执行诸如分离驱动程序的驱动程序，该驱动程序不具有访问网络接口硬件的权限。
特权或第一虚拟化域（例如Dom0）、其控制程序和/或其分离驱动程序可将接收的分组指向或放入共享队列。该虚拟化域可发出或生成功能调用、系统调用或管理程序调用来发起将所接收的分组从用户存储空间传输到共享队列。该共享队列可驻留在多核装置的内核空间中。特权虚拟化域可以在将分组传递到虚拟化分组处理器的队列之前将该分组放入共享存储空间中的共享队列中。共享队列可驻留在多核系统的共享存储分段中。多核系统和/或域0实体可在多核装置的内核存储空间中建立共享队列和/或虚拟化分组处理器的队列，其中该内核存储空间可由特权（例如第一）虚拟化域和非特权（例如第二）虚拟化域访问。
多核系统和/或域0实体可为虚拟化分组处理器分配驻留在内核空间中的RX队列。在一些实施例中，多核系统和/或域0实体可为多个虚拟化分组处理器中的每一个分配多核装置的内核存储空间中的对应的、专用的队列。该多核系统可包括接收侧调节（RSS）模块和/或流分布器用于重定向共享队列上的分组，该RSS模块和/或流分布器例如是上文中至少结合图5A-C、6和7A-D描述的RSS模块和/或流分布器的实施例。RSS模块或流分布器可将共享队列上的分组指向分配给DomU或虚拟化分组处理器的队列。在某些实施例中，RSS模块或流分布器将从Dom0接收的分组直接分配到所分配的RX队列。RSS模块或流分布器可基于任何类型或形式的策略或规则将分组指向或分配到特定队列，例如，如上文至少结合图5A-C、6和7A-D描述的的策略或规则。例如，RSS模块可确认所接收的分组与由特定虚拟化分组处理器处理的多个分组相关联。
在一些实施例中，一旦将分组接收和/或放置到共享队列上，Dom0中的分离驱动程序可生成和/或发送通知。分离驱动程序可将该通知发送到RSS模块、流分布器和/或虚拟化分组处理器。在某些实施例中，RSS模块、流分布器和/或虚拟化分组处理器可接收或拦截该通知。例如，RSS模块可包括通知处理器，该通知处理器计算或确定对所接收的分组的RSS哈希。基于该RSS哈希，RSS模块将接收的分组指向或分配到分配给虚拟化分组处理器的对应的队列。
在一些实施例中，分配的队列包括用于制约或限制其访问对应的虚拟化域和/或虚拟化分组处理器的锁定机制。在其他实施例中，分配的队列不包括，或者可能不要求锁定机制。RSS模块或流分布器可将接收的分组填充或存储到队列的可用mbuf数据结构中。在一些实施例中，如果没有可用的mbuf，或者如果队列被填满，则RSS模块或流分布器可向对应的虚拟化分组处理器发送通知。在某些实施例中，RSS模块、流分布器和/或队列可响应于接收分组和/或将分组存储到队列中来向对应的虚拟化分组处理器发送通知。在一些实施例中，虚拟化分组处理器可能响应于该通知发起或者不发起对队列的读取。
虚拟化分组处理器可确定队列包括在从该队列中读取的多个分组和写入该队列的多个分组之间的区别（步骤1205）。虚拟化分组处理器可确定该队列包括队列的读取指示器和写入指示器之间的区别。这种读取指示器可标识或指示最近何时读取了该队列（例如时间戳）和/或队列读取的程度（例如，最近读取的条目的位置指示器或定位器、读取或未读取的分组数量，或者新/空的可用mbuf的数量）。写入指示器可标识或指示最近何时写入了队列（例如时间戳）和/或用接收的分组填充的队列的程度（例如，最近写入的条目的位置指示器、填充的队列位置数量，或者使用的或可用的mbuf的数量）。
虚拟化分组处理器可比较读取和写入指示器，或者可比较从队列读取的分组数量和写入队列的分组数量。在一些实施例中，虚拟化分组处理器可确定不存在区别，因为自从最后一次读取后没有接收新的分组。虚拟化分组处理器可接收通知，关于接收的分组被写入该队列。在一些实施例中，该队列可通知虚拟化分组处理器分组可用于读取，和/或标识要读取的分组。在某些实施例中，虚拟化分组处理器可关于新的分组轮询该队列。虚拟化分组处理器可关于可用mbuf的数量轮询该队列，并且，如果可用mbuf的数量低于预定阈值则可从该队列读取。
在一些实施例中，虚拟化分组处理器可在特定时间和/或时间间隔来轮询队列，以确定是否存在要读取的新的分组。举例说明且在一个实施例中，虚拟化分组处理器可在虚拟化分组处理器的netio循环或例程中的预定点轮询所分配的队列。虚拟化分组处理器可经由超级调用或系统调用来轮询队列或以其他方式与该队列通信。在一些实施例中，系统调用被翻译为内核空间中的超级调用。管理程序可接收和/或处理翻译的超级调用作为响应。
虚拟化分组处理器可响应于确定来处理来自该队列的分组（步骤1207）。虚拟化分组处理器或分离驱动程序可经由超级调用或系统调用发起读取或者发起来自于该队列的分组的传输。响应于识别在从队列读取的分组数量和写入队列的分组数量之间的区别，虚拟化分组处理器或分离驱动程序可生成系统调用或管理程序调用，用于将分组从该队列传输到DomU或第二虚拟化域。在一些实施例中，虚拟化分组处理器可将多个分组从队列传输到DomU或第二虚拟化域，或者发起从队列到DomU或第二虚拟化域的分组传输。分离驱动程序或虚拟化分组处理器可将一个或多个分组传输到虚拟化分组处理器的接收队列或者发起到该接收队列的一个或多个分组传输，其中该虚拟化分组处理器驻留在用户存储空间中。例如，响应于生成的超级调用，管理程序可将分组从内核存储空间中的队列传递到多核装置的用户存储空间中的DomU的接收队列。
在一些实施例中，管理程序、分离驱动程序和/或DomU可将分组从队列中的第一格式转换为第二格式，用于由虚拟化分组处理器处理。举例说明且不以任何方式进行限制，分离驱动程序可将分配的队列中的一个或多个mbuf数据结构传输或复制到DomU。分离驱动程序可将分组信息从一个格式（例如mbuf格式）转换、修改或翻译为另一格式，其中虚拟化分组处理器可理解或处理该另一格式。例如在一个实施例中，分离驱动器可将分组信息从mbuf格式转换、修改或翻译为nsb格式。
在一些实施例中，分离驱动程序和/或虚拟化分组处理器可向内核空间分配多个nsb数据结构（例如，对应于队列的“读取索引-写入索引”）。分离驱动器和/或虚拟化分组处理器可在发出系统调用以发起读取之前分配该nsb数据结构。在一些实施例中，分离驱动程序和/或虚拟化分组处理器可将mbuf复制到内核空间中的nsb中。分离驱动程序和/或虚拟化分组处理器可将nsb缓冲到虚拟化分组处理器的RX队列中。在一些实施例中，分组可包括或占有分配的队列中的一个或多个mbuf（例如，mbuf数据结构），并且可被翻译为RX队列中的一个或多个nsb（例如，nsb数据结构）。
在一些实施例中，分离驱动程序和/或管理程序可响应于分组传输或读取，将新的mbuf（例如，用于缓冲分组信息的存储器或者任何其他数据结构或容器）分配给所分配的队列。分离驱动程序和/或管理程序可响应于读取来搬出、释放或重写分配的队列中的现有数据结构（例如mbuf）。分离驱动程序可在RX队列中分配存储器或数据结构（例如nsb）用于缓冲从内核空间中的分配的队列读取或传输的分组。
在一些实施例中，驱动程序（例如半虚拟化驱动程序）的第一部分在Dom0（例如第一虚拟化域）中执行，用于从网络接口硬件接收分组和/或将分组传递到内核空间。该驱动程序的第二部分可在DomU（例如第二虚拟化域）中执行，用于接收来自分配的队列的分组和/或格式化该分组以便由虚拟化分组处理器进行处理。该驱动程序的第一和第二部分可独立地操作或以协作的方式操作（例如，经由通知或消息彼此通信）。该驱动程序的第一和/或第二部分可作为与内核空间中的共享队列和分配的队列的相应的接口。在一些实施例中，该驱动程序的第一和第二部分的每一个包含一个或多个半虚拟化驱动程序。
图12D中描述了用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法的一个实施例。在多核装置的核上的第一虚拟化域中执行的虚拟化分组处理器可将分组缓冲到第一虚拟化域的发送队列中（步骤1251）。第一虚拟化域（例如DomU）可来自于不具有直接访问多核装置的网络接口硬件的权限的多个虚拟化域。虚拟化分组处理器可确定发送队列具有一个或多个分组要发送（步骤1253）。系统可响应于该确定将一个或多个分组从发送队列发送到共享队列，其中该共享队列驻留在可由另一虚拟化域（例如第二虚拟化域或Dom0）访问的多核装置的内核存储空间上（步骤1255）。第二虚拟化域可包括具有直接访问网络接口硬件的权限的特权域。第二虚拟化域可响应于来自DomU或第一虚拟化域的通知，访问共享队列的一个或多个分组，其中该一个或多个分组用于经由网络接口硬件发送到网络（步骤1257）。
仍参考图12D且具体而言，在多核装置的核上的虚拟化域（例如DomU）中执行的虚拟化分组处理器可将分组缓冲到第一虚拟化域的发送队列中（步骤1251）。该虚拟化域可来自于不具有直接访问多核装置的网络接口硬件的权限的多个虚拟化域。虚拟化分组处理器可运输、生成或以其他方式提供分组，用于在网络上发送（例如出站分组（outbound packet））。虚拟化分组处理器可维护、操作用户存储空间中（例如DomU中）的TX队列，和/或提供输入到用户存储器空间中（例如DomU中）的TX队列。在一些实施例中，虚拟化分组处理器管理或分配TX队列中的存储器用于缓冲出站分组或对出站分组进行排队。虚拟化分组处理器可在一段时间内和/或当分组变得可用时，（例如以nsb的形式）在TX队列中积累出站分组或对出站分组进行排队。
虚拟化分组处理器可确定发送队列具有要发送的一个或多个分组（步骤1253）。在一些实施例中，虚拟化分组处理器记录其提供给TX队列用于发送的出站分组。在某些实施例中，虚拟化分组处理器可能不记录其提供到TX队列用于发送的出站分组。在一些实施例中，虚拟化分组处理器包括半虚拟化驱动程序或分离驱动程序。在某些实施例中，在该虚拟化域（例如DomU）中执行的半虚拟化驱动程序或分离驱动程序可以是独立于虚拟化分组处理器的实体。虚拟化分组处理器和/或分离驱动程序可确定发送队列是否具有要发送的任何分组。虚拟化分组处理器和/或分离驱动器可关于新的发送分组轮询发送队列。在一些实施例中，虚拟化分组处理器和/或分离驱动程序可在预定时间期间或基于预定事件（例如，在netio循环期间）确定是否存在用于发送的分组。
在一些实施例中，虚拟化分组处理器和/或分离驱动程序可确定TX队列中所填充或占据的部分已超过特定阈值。在其他实施例中，虚拟化分组处理器和/或分离驱动程序可确定该TX队列是满的、分配的存储器已用完，和/或没有可用的数据结构（例如fsb）来缓冲额外的用于发送的分组。虚拟化分组处理器和/或分离驱动程序可基于该确定分配额外的存储器或数据结构和/或发起对一个或多个排队的分组的发送。
系统可响应于该确定从发送队列发送一个或多个分组到共享队列，其中该共享队列驻留在可由Dom0（例如第二虚拟化域）访问的多核装置的内核存储空间上（步骤1255）。Dom0可包括具有直接访问网络接口硬件的权限的特权域。管理程序可以在可由一个或多个虚拟化域（例如DomU或第一虚拟化域，以及Dom0或第二虚拟化域）访问的多核装置的内核空间中建立共享队列。在一些实施例中，共享队列驻留在管理程序的内核空间中，该管理程序提供或执行第一和第二虚拟化域。在一些实施例中，将一个或多个分组从发送队列发送到分配的或专用的TX队列，例如虚拟化分组处理器的分配的或专用的TX队列。管理程序可将分组从一个或多个专用的TX队列（例如，内核空间中的，一个或多个虚拟化分组处理器的TX队列）插入或移动到共享队列上。
虚拟化分组处理器和/或分离驱动程序可响应于确定发送队列具有一个或多个要发送的分组来发出或生成系统调用。虚拟化分组处理器和/或分离驱动程序可发出或生成系统调用作为netio循环或例程的部分。例如，响应于在发送队列上缓冲一个或多个分组，虚拟化分组处理器和/或分离驱动程序可生成系统调用以发起将发送队列上的一个或多个分组传递到内核存储空间中的共享队列。虚拟化分组处理器和/或分离驱动程序可在内核存储空间中生成或触发管理程序调用以发起将发送队列上的一个或多个分组传递到内核存储器空中的共享队列。分离驱动程序和/或管理程序可将系统调用转换或翻译为超级调用，用于在内核空间中处理。可响应于确定来生成系统调用和/或超级调用。可响应于在发送队列上缓冲一个或多个分组，来生成系统调用和/或超级调用。
在一些实施例中，在将分组缓冲到发送队列之前，管理程序、分离驱动程序和/或DomU可将分组从与虚拟化分组处理器关联的第一格式转换为第二格式。管理程序、分离驱动程序和/或DomU可将分组从用户空间TX队列中的第一格式转换为用于内核空间中的共享TX队列的第二格式。举例说明且不以任何方式进行限制，分离驱动程序可将TX队列中的一个或多个nsb数据结构传输或复制到内核空间。分离驱动程序可将分组信息从一个格式（例如nsb格式）转换、修改或翻译为另一格式（例如msb格式），用于传输到Dom0。在一些实施例中，分离驱动程序和/或虚拟化分组处理器可响应于到内核空间的分组传输或发送为用户空间TX队列分配或释放存储器或任何其他数据结构。
在一些实施例中，分离驱动程序和/或管理程序可为内核空间中的共享TX队列分配多个nsb数据结构（例如，对应于用户空间TX队列中的“读取索引-写入索引”）。在某些实施例中，该分配可响应于所生成的系统调用或超级调用而产生。分离驱动程序和/或管理程序可以在发出系统调用来发起到内核空间的发送之前，分配msb数据结构。在一些实施例中，分离驱动程序和/或管理程序可将nsb复制、转换或翻译为内核空间中的mbuf。分离驱动程序和/或管理程序可将mbuf缓冲、存储到共享TX队列中或在共享TX队列中对mbuf进行排队，用于由Dom0访问。在一些实施例中，分组可包括用户空间TX队列中的一个或多个nsb（例如nsb数据结构），并且该一个或多个nsb可被翻译为共享TX队列中的一个或多个mbuf（例如mbuf数据结构）。
在一些实施例中，虚拟化分组处理器和/或分离驱动程序可响应于到内核空间的分组传输来生成到Dom0（例如到Dom0的分离驱动程序）的通知。该通知可指示Dom0共享队列中存在出站分组或者出站分组已被传输到共享队列。在一些实施例中，将通知作为系统调用或超级调用的部分来生成和/或发送，或者响应于系统调用或超级调用来生成和/或发送该通知。在某些实施例中，可在队列之间和/或不同类型的存储空间之间并行或大体同时传输接收的分组和出站分组。例如且在一个实施例中，可使用单个系统调用来处理或传输接收的分组和出站分组。
Dom0（例如，第二虚拟化域）可响应于来自DomU（例如，第一虚拟化域）的通知访问共享队列的一个或多个分组，该一个或多个分组用于经由网络接口硬件发送到网络（步骤1257）。Dom0的分离驱动程序可响应于netio循环事件、响应于所接收的通知或者响应于系统调用或超级调用，来访问来自共享TX队列的一个或多个分组。在某些实施例中，分离驱动程序可生成系统调用以发起从共享TX队列到Dom0的一个或多个分组的传输。分离驱动程序可以事先将出站分组从一个格式（例如mbuf格式）转换为另一格式，用于经由网络接口硬件发送出去。分离驱动程序可维护Dom0中的TX队列用于缓冲出站分组。在某些实施例中，分离驱动程序可指引出站分组通过堆栈（例如TCP/IP堆栈），用于经由网络接口硬件发送到网络上。
在某些实施例中，管理程序或分离驱动程序之一可回收之前由发送的或接收的分组占用的存储器或数据结构（例如mbuf）。管理程序或分离驱动程序之一可通过使用系统调用、超级调用或功能调用来触发或发起回收。举例说明且在一个实施例中，可在netio循环中调用tx_proc函数来回收或释放之前被占用的存储空间或数据结构。例如，可将回收的存储器或数据结构重新分配为mbuf或nsb。
在一些实施例中，驱动程序的第一部分在DomU（例如，第一虚拟化域）中执行，以便将来自虚拟化分组处理器的出站分组缓冲到用户空间发送队列中，和/或发起到内核空间共享队列的分组传输。驱动程序的第二部分可以在Dom0中（例如，在第二虚拟化域中）执行，以访问来自共享队列的分组。驱动程序的第一和第二部分可独立运行或者以协作的方式（例如，经由通知或消息彼此通信）运行。驱动程序的第一和/或第二部分可作为与内核空间中的共享队列和分配的队列的相应的接口。在一些实施例中，驱动程序的第一和第二部分中的每一个包括一个或多个半虚拟化驱动程序。
应该理解，上文描述的系统可提供这些组件的任意多个或每一个并且这些组件可以在独立机器上提供，或者在一些实施例中，可在分布式系统的多个机器上提供。可以使用编程和/或工程技术将上文所描述的系统和方法实现为方法、装置或产品以提供软件、固件、硬件或上述的任何组合。此外，上述系统和方法可作为在一件或多件产品上实现或在其中实现的一个或多个计算机可读程序而被提供。本文使用的术语“产品”旨在包括从一个或多个计算机可读的装置、固件、可编程逻辑、存储器装置（例如，EEPROM、ROM、PROM、RAM、SRAM等）、硬件（例如，集成电路芯片、现场可编程门阵列（FPGA）、专用集成电路（ASIC）等）、电子装置、计算机可读的非易失存储单元（例如，CD-ROM、软盘、硬盘等）可访问的或嵌入其中的代码或逻辑。所述产品可以是从经由网络传输线、无线传输介质、通过空间传播的信号、无线电波、红外信号等提供对计算机可读程序的访问的文件服务器可访问的。所述产品可以是闪存卡或磁带。所述产品包括硬件逻辑以及嵌入在计算机可读介质中由处理器执行的软件或可编程代码。通常，计算机可读程序可以任何编程语言来实现，如LISP、PERL、C、C++、C#、PROLOG，或者诸如JAVA的任何字节码语言。软件程序可以作为目标代码被存储在一件或多件产品上或其中。
已经描述了用于选择性地实现渐进式显示技术的方法和系统的某些实施例，对本领域技术人员而言，显而易见可以使用包含本发明的概念的其他实施例。

Claims (20)

1.一种用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法，所述方法包括：
（a）由在多核装置上执行的第一虚拟化域经由所述多核装置的网络接口硬件接收分组，所述第一虚拟化域包括具有直接访问所述网络接口硬件的权限的特权域；
（b）将所述分组传递到虚拟化分组处理器的队列，所述虚拟化分组处理器来自于多个虚拟化分组处理器并且在所述多核装置的核上的第二虚拟化域中执行，所述第二虚拟化域来自于没有直接访问所述网络接口硬件的权限的多个虚拟化域；
（c）由所述虚拟化分组处理器确定所述队列包括从所述队列读取的多个分组与写入所述队列的多个分组之间的区别；以及
（d）由所述虚拟化分组处理器响应于该确定处理所述队列中的分组。
2.根据权利要求1所述的方法，还包括在所述第一虚拟化域中执行驱动程序的第一部分，用于接收来自于所述网络接口硬件的分组，以及在所述第二虚拟化域中执行所述驱动程序的第二部分，用于接收来自所述队列的分组。
3.根据权利要求1所述的方法，还包括在所述多核装置的内核存储空间中建立所述队列，其中所述第一虚拟化域和所述第二虚拟化域能够访问所述队列。
4.根据权利要求1所述的方法，还包括为多个虚拟化分组处理器中的每一个分配所述多核装置的内核存储空间中的相应的队列。
5.根据权利要求1所述的方法，还包括在所述多核装置的用户存储空间中执行所述虚拟化分组处理器。
6.根据权利要求1所述的方法，还包括由所述虚拟化分组处理器响应于识别从所述队列读取的分组数量与写入所述队列的分组数量之间的区别，生成系统调用或管理程序调用，以将所述分组从所述队列传输到所述第二虚拟化域。
7.根据权利要求1所述的方法，其中（d）还包括将所述分组从所述队列中的第一格式转换为第二格式，用于由所述虚拟化分组处理器进行处理。
8.根据权利要求1所述的方法，还包括将多个分组从所述队列传输到驻留在用户存储空间中的所述虚拟化分组处理器的接收队列。
9.根据权利要求1所述的方法，还包括在将所述分组传递到所述虚拟化分组处理器的队列之前，由所述第一虚拟化域将所述分组发送到驻留在所述多核装置的内核空间中的共享队列中。
10.根据权利要求1所述的方法，还包括将所述分组从内核存储空间中的队列传递到所述多核装置的用户存储空间中的第二虚拟化域的接收队列。
11.一种用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的方法，所述方法包括：
（a）由在多核装置的核上的第一虚拟化域中执行的虚拟化分组处理器将分组缓冲到所述第一虚拟化域的发送队列中，所述第一虚拟化域来自于没有直接访问所述多核装置的网络接口硬件的权限的多个虚拟化域；
（b）由所述虚拟化分组处理器确定所述发送队列具有要发送的一个或多个分组；
（c）响应于该确定，将一个或多个分组从所述发送队列发送到驻留在所述多核装置的内核存储空间上的、能够由第二虚拟化域访问的共享队列，所述第二虚拟化域包括具有直接访问所述网络接口硬件的权限的特权域；以及
（d）响应于来自所述第一虚拟化域的通知，由所述第二虚拟化域访问所述共享队列中的一个或多个分组，该一个或多个分组用于经由所述网络接口硬件发送到网络。
12.根据权利要求11所述的方法，还包括在所述第一虚拟化域中执行驱动程序的第一部分，以将所述分组缓冲到所述发送队列，以及在所述第二虚拟化域中执行所述驱动程序的第二部分，以访问所述共享队列中的分组。
13.根据权利要求11所述的方法，其中所述共享队列驻留在管理程序的内核空间中，所述管理程序提供所述第一和第二虚拟化域。
14.根据权利要求11所述的方法，还包括在所述多核装置的内核空间中建立所述共享队列，其中所述第一虚拟化域能够访问所述共享队列。
15.根据权利要求11所述的方法，还包括由所述虚拟化分组处理器响应于将一个或多个分组缓冲到所述发送队列来生成系统调用，以发起向内核存储空间中的所述共享队列传递所述发送队列上的一个或多个分组。
16.根据权利要求11所述的方法，还包括由所述虚拟化分组处理器在内核存储空间中生成管理程序调用，以发起向内核存储空间中的所述共享队列传递所述发送队列上的一个或多个分组。
17.根据权利要求11所述的方法，其中（a）还包括在将分组缓冲到所述发送队列之前，将所述分组从与所述虚拟化分组处理器关联的第一格式转换为第二格式。
18.一种用于在多核装置的网络接口硬件和由多核装置的一个或多个核执行的多个虚拟化分组处理器之间传递分组的系统，所述系统包括：
第一虚拟化域，所述第一虚拟化域在多核装置的第一核上执行、包括具有直接访问所述多核装置的网络接口硬件的权限的特权域、经由所述网络接口硬件接收分组、并且将接收的分组传递到所述多核装置的内核模式中的队列；以及
第二虚拟化域，所述第二虚拟化域来自于没有直接访问所述网络接口硬件的权限的多个虚拟化域、在所述多核装置的第二核上执行、并且包括虚拟化分组处理器，所述虚拟化分组处理器响应于确定所述队列具有从所述队列读取的多个分组和写入所述队列的多个分组之间的区别，来访问所述队列中的分组。
19.根据权利要求18所述的系统，其中所述第一虚拟化域还包括驱动程序的第一部分，用于从所述网络接口硬件接收分组，并且所述第二虚拟化域还包括所述驱动程序的第二部分，用于接收来自所述队列的分组。
20.根据权利要求18所述的系统，其中所述第二虚拟化域响应于该确定，在内核存储空间中生成系统调用或管理程序调用，以访问所述队列上的分组。
CN201180048120.3A 2010-08-06 2011-08-05 用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法 Active CN103155520B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37130910P 2010-08-06 2010-08-06
US61/371,309 2010-08-06
US61/371309 2010-08-06
PCT/US2011/046776 WO2012019114A1 (en) 2010-08-06 2011-08-05 Systems and methods for a para-virtualized driver in a multi-core virtual packet engine device

Publications (2)

Publication Number Publication Date
CN103155520A true CN103155520A (zh) 2013-06-12
CN103155520B CN103155520B (zh) 2016-08-03

Family

ID=44543811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180048120.3A Active CN103155520B (zh) 2010-08-06 2011-08-05 用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法

Country Status (4)

Country Link
US (1) US20120033673A1 (zh)
EP (1) EP2601776B1 (zh)
CN (1) CN103155520B (zh)
WO (1) WO2012019114A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657326A (zh) * 2013-11-25 2015-05-27 重庆重邮信科通信技术有限公司 双cpu通信方法、系统和片上系统芯片
CN106650465A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 应用于虚拟化场景的安全通信方法及设备
WO2017215518A1 (en) * 2016-06-13 2017-12-21 Huawei Technologies Co., Ltd. System and method for virtual hardware control
CN108353040A (zh) * 2015-10-30 2018-07-31 思杰系统有限公司 用于分布式分组调度的系统和方法
CN108920252A (zh) * 2018-06-15 2018-11-30 西安微电子技术研究所 一种基于多队列千兆以太网控制器的io虚拟化装置
WO2019011280A1 (zh) * 2017-07-14 2019-01-17 腾讯科技（深圳）有限公司 应用程序的控制方法、装置、终端及存储介质
CN110214436A (zh) * 2017-01-25 2019-09-06 华为技术有限公司 一种多核无锁速率限制装置和方法
CN110352586A (zh) * 2017-03-08 2019-10-18 Abb瑞士股份有限公司 用于保留网络中的数据分组的相对定时和排序的方法和装置
CN111158911A (zh) * 2019-12-27 2020-05-15 迈普通信技术股份有限公司 一种处理器配置方法、装置、处理器及网络设备
CN111625376A (zh) * 2017-04-01 2020-09-04 北京忆芯科技有限公司 通过代理进行队列通信的方法与消息系统
CN113225344A (zh) * 2021-05-10 2021-08-06 深信服科技股份有限公司 一种访问控制方法、装置、设备及可读存储介质
CN114666205A (zh) * 2017-07-10 2022-06-24 比吉斯合伙人有限公司 用于分组监视和重放的网络

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018961B2 (en) * 2009-06-22 2011-09-13 Citrix Systems, Inc. Systems and methods for receive and transmission queue processing in a multi-core architecture
US9300491B2 (en) 2011-02-11 2016-03-29 Qualcomm Incorporated Frame delivery path selection in hybrid communication networks
US9025603B2 (en) * 2011-03-08 2015-05-05 Qualcomm Incorporated Addressing scheme for hybrid communication networks
US9244798B1 (en) 2011-06-20 2016-01-26 Broadcom Corporation Programmable micro-core processors for packet parsing with packet ordering
US9455598B1 (en) * 2011-06-20 2016-09-27 Broadcom Corporation Programmable micro-core processors for packet parsing
US9473455B2 (en) * 2011-06-29 2016-10-18 Verisign, Inc. Data plane packet processing tool chain
US9590820B1 (en) * 2011-09-02 2017-03-07 Juniper Networks, Inc. Methods and apparatus for improving load balancing in overlay networks
EP2575039B1 (de) * 2011-09-28 2016-12-14 Siemens Aktiengesellschaft Verfahren und Anordnung zur Nutzung einer Ressource einer Hardware-Plattform mit zumindest zwei virtuellen Maschinen
US9742707B2 (en) * 2011-10-05 2017-08-22 Red Hat Israel, Ltd. Switching of a transmit queue associated with a virtual machine
US8842562B2 (en) * 2011-10-25 2014-09-23 Dell Products, Lp Method of handling network traffic through optimization of receive side scaling
US8874786B2 (en) * 2011-10-25 2014-10-28 Dell Products L.P. Network traffic control by association of network packets and processes
CN104106246B (zh) * 2012-01-31 2017-11-10 中兴通讯(美国)公司 用于管理传输无关式多媒体体验质量的方法和系统
US9438385B2 (en) 2012-09-13 2016-09-06 First Principles, Inc. Data stream division to increase data transmission rates
US9100904B2 (en) * 2012-09-13 2015-08-04 First Principles, Inc. Data stream division to increase data transmission rates
US9560661B2 (en) 2013-05-22 2017-01-31 Microsoft Technology Licensing, Llc Allocation of shared resources for virtualized networking
US9426081B2 (en) * 2013-06-01 2016-08-23 Microsoft Technology Licensing, Llc Management of multilevel queues for shared network adapters
CN103338157B (zh) * 2013-07-01 2016-04-06 杭州华三通信技术有限公司 一种多核系统核间数据报文缓存方法及设备
US9851992B2 (en) 2013-08-01 2017-12-26 Red Hat Israel, Ltd. Paravirtulized capability for device assignment
AU2014204529B2 (en) * 2013-08-02 2018-01-18 Cellos Software Ltd A method of assigning a core to process a packet and a device for multicore processing
US9838291B2 (en) * 2013-08-02 2017-12-05 Cellos Software Ltd Multicore processing of bidirectional traffic flows
US10187479B2 (en) * 2013-08-26 2019-01-22 Vmware, Inc. Cloud-scale heterogeneous datacenter management infrastructure
US9983893B2 (en) 2013-10-01 2018-05-29 Red Hat Israel, Ltd. Handling memory-mapped input-output (MMIO) based instructions using fast access addresses
CN104579995A (zh) * 2013-10-12 2015-04-29 郑州冰川网络技术有限公司 一种多链路保持会话的方法
US10324743B2 (en) 2014-08-27 2019-06-18 Red Hat Israel, Ltd. Announcing virtual machine migration
US9727364B2 (en) 2014-09-05 2017-08-08 Red Hat Israel, Ltd. Virtual device hypervisor memory limited receive queuing
US9553853B2 (en) * 2014-12-23 2017-01-24 Intel Corporation Techniques for load balancing in a packet distribution system
TWI552077B (zh) * 2015-02-12 2016-10-01 國立中央大學 虛擬機器即時轉移方法
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
CN105512002A (zh) * 2015-11-23 2016-04-20 上海汽车集团股份有限公司 设备监控方法和监控服务器
US9846610B2 (en) 2016-02-08 2017-12-19 Red Hat Israel, Ltd. Page fault-based fast memory-mapped I/O for virtual machines
US9985890B2 (en) 2016-03-14 2018-05-29 International Business Machines Corporation Identifying a local congestion control algorithm of a virtual machine
CN107204908A (zh) * 2016-03-17 2017-09-26 阿里巴巴集团控股有限公司 一种基于通信接口框架的消息发送、接收方法及装置
US10915333B2 (en) 2016-03-30 2021-02-09 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10303488B2 (en) 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
US10275239B2 (en) 2016-03-30 2019-04-30 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10045252B2 (en) * 2016-06-02 2018-08-07 International Business Machines Corporation Virtual switch-based congestion control for multiple TCP flows
US10554554B2 (en) * 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Hybrid network processing load distribution in computing systems
US10826841B2 (en) 2016-12-06 2020-11-03 Microsoft Technology Licensing, Llc Modification of queue affinity to cores based on utilization
US10530747B2 (en) * 2017-01-13 2020-01-07 Citrix Systems, Inc. Systems and methods to run user space network stack inside docker container while bypassing container Linux network stack
US10230608B2 (en) 2017-02-21 2019-03-12 Red Hat, Inc. RPS support for NFV by system call bypass
US10394585B2 (en) 2017-03-07 2019-08-27 Microsoft Technology Licensing, Llc Managing guest partition access to physical devices
CN109298890A (zh) * 2017-07-25 2019-02-01 西安中兴新软件有限责任公司 一种配置ndis设备的方法及装置
US10547491B2 (en) * 2017-08-28 2020-01-28 Genband Us Llc Transcoding with a vector processing unit
CN108009001A (zh) * 2017-11-10 2018-05-08 中国电力科学研究院有限公司 一种基于Docker容器化管理的电网地理信息系统及管理方法
US20190319933A1 (en) * 2018-04-12 2019-10-17 Alibaba Group Holding Limited Cooperative tls acceleration
US20190044860A1 (en) * 2018-06-18 2019-02-07 Intel Corporation Technologies for providing adaptive polling of packet queues
KR20200112439A (ko) * 2019-03-22 2020-10-05 삼성전자주식회사 멀티 코어를 포함하는 전자 장치 및 이의 패킷 처리를 위한 방법
EP3949275A1 (en) * 2019-03-29 2022-02-09 Telefonaktiebolaget LM Ericsson (publ) Multi-domain orchestration
GB2592315B (en) 2019-04-04 2023-07-19 Pismo Labs Technology Ltd Methods and systems for sending packets through a plurality of tunnels
US10896140B2 (en) * 2019-04-19 2021-01-19 International Business Machines Corporation Controlling operation of multiple computational engines
US20200394084A1 (en) * 2019-06-13 2020-12-17 Citrix Systems, Inc. Systems and methods for controlling delivery of notifications on a per user basis
US11249789B2 (en) * 2020-01-06 2022-02-15 International Business Machines Corporation Network performance optimization in a hypervisor-based system
US11816057B2 (en) * 2021-10-19 2023-11-14 Citrix Systems, Inc. User space driver for I/O traffic distribution and packet processing
CN114780353B (zh) * 2022-06-15 2022-09-27 统信软件技术有限公司 一种文件日志监控方法、系统及计算设备
US20240007412A1 (en) * 2022-06-29 2024-01-04 Microsoft Technology Licensing, Llc Transmit Side Scaling and Alignment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115338A1 (en) * 2001-08-31 2003-06-19 Ramkumar Jayam Apparatus and methods for receiving data at high speed using TCP/IP
WO2008027768A2 (en) * 2006-08-31 2008-03-06 Egenera, Inc. Providing virtual machine technology as an embedded layer within a processing platform

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067300A (en) * 1998-06-11 2000-05-23 Cabletron Systems, Inc. Method and apparatus for optimizing the transfer of data packets between local area networks
US7382637B1 (en) * 2002-02-01 2008-06-03 Netlogic Microsystems, Inc. Block-writable content addressable memory device
US20080244725A1 (en) * 2007-03-31 2008-10-02 Prashant Dewan Method and apparatus for managing packet buffers
KR100929852B1 (ko) * 2007-09-20 2009-12-04 한국전자통신연구원 공유 메모리를 이용한 가상 기계 상의 응용프로그램 간통신 인터페이스 장치 및 그 방법
US20090182986A1 (en) * 2008-01-16 2009-07-16 Stephen Joseph Schwinn Processing Unit Incorporating Issue Rate-Based Predictive Thermal Management
WO2010045732A1 (en) * 2008-10-20 2010-04-29 Tadeusz Szymanski Crossbar switch and recursive scheduling
WO2010137065A1 (en) * 2009-05-26 2010-12-02 Hitachi, Ltd. Storage apparatus and method for controlling storage apparatus having a plurality of processor boards for better access performance
US8739177B2 (en) * 2010-06-21 2014-05-27 Intel Corporation Method for network interface sharing among multiple virtual machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115338A1 (en) * 2001-08-31 2003-06-19 Ramkumar Jayam Apparatus and methods for receiving data at high speed using TCP/IP
WO2008027768A2 (en) * 2006-08-31 2008-03-06 Egenera, Inc. Providing virtual machine technology as an embedded layer within a processing platform

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657326A (zh) * 2013-11-25 2015-05-27 重庆重邮信科通信技术有限公司 双cpu通信方法、系统和片上系统芯片
CN104657326B (zh) * 2013-11-25 2019-02-12 锐迪科（重庆）微电子科技有限公司 双cpu通信方法、系统和片上系统芯片
CN106650465A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 应用于虚拟化场景的安全通信方法及设备
CN108353040A (zh) * 2015-10-30 2018-07-31 思杰系统有限公司 用于分布式分组调度的系统和方法
CN108353040B (zh) * 2015-10-30 2022-01-07 思杰系统有限公司 用于分布式分组调度的系统和方法
CN106650465B (zh) * 2015-10-30 2021-01-29 阿里巴巴集团控股有限公司 应用于虚拟化场景的安全通信方法及设备
WO2017215518A1 (en) * 2016-06-13 2017-12-21 Huawei Technologies Co., Ltd. System and method for virtual hardware control
US10282210B2 (en) 2016-06-13 2019-05-07 Huawei Technologies Co., Ltd. System and method for virtual hardware control
CN110214436A (zh) * 2017-01-25 2019-09-06 华为技术有限公司 一种多核无锁速率限制装置和方法
CN110352586A (zh) * 2017-03-08 2019-10-18 Abb瑞士股份有限公司 用于保留网络中的数据分组的相对定时和排序的方法和装置
CN111625376A (zh) * 2017-04-01 2020-09-04 北京忆芯科技有限公司 通过代理进行队列通信的方法与消息系统
CN111625376B (zh) * 2017-04-01 2023-08-04 北京忆芯科技有限公司 通过代理进行队列通信的方法与消息系统
CN114666205A (zh) * 2017-07-10 2022-06-24 比吉斯合伙人有限公司 用于分组监视和重放的网络
US10754715B2 (en) 2017-07-14 2020-08-25 Tencent Technology (Shenzhen) Company Limited Application program control method and apparatus, terminal, and storage medium
WO2019011280A1 (zh) * 2017-07-14 2019-01-17 腾讯科技（深圳）有限公司 应用程序的控制方法、装置、终端及存储介质
CN108920252A (zh) * 2018-06-15 2018-11-30 西安微电子技术研究所 一种基于多队列千兆以太网控制器的io虚拟化装置
CN111158911A (zh) * 2019-12-27 2020-05-15 迈普通信技术股份有限公司 一种处理器配置方法、装置、处理器及网络设备
CN113225344A (zh) * 2021-05-10 2021-08-06 深信服科技股份有限公司 一种访问控制方法、装置、设备及可读存储介质
CN113225344B (zh) * 2021-05-10 2022-09-30 深信服科技股份有限公司 一种访问控制方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
EP2601776A1 (en) 2013-06-12
US20120033673A1 (en) 2012-02-09
EP2601776B1 (en) 2015-10-28
CN103155520B (zh) 2016-08-03
WO2012019114A1 (en) 2012-02-09

Similar Documents

Publication Publication Date Title
CN103155520A (zh) 用于多核虚拟分组引擎装置中的半虚拟化驱动程序的系统和方法
CN102771089B (zh) 用于通过虚拟服务器混合模式处理IPv6和IPv4流量的系统和方法
CN103583022B (zh) 用于经由nic感知应用处理nic拥塞的系统和方法
CN102217273B (zh) 用于应用流畅性策略的系统和方法
CN102714618B (zh) 用于平台速率限制的系统和方法
CN102483707B (zh) 在负载平衡的多核环境中保持源ip的系统和方法
CN102714657B (zh) 用于经由tcp选项插入客户机ip地址的系统和方法
CN102763374B (zh) 用于基于策略地集成到水平地部署的wan优化设备的系统和方法
CN102763368B (zh) 用于跨站点伪造保护的方法和系统
CN102771085B (zh) 用于保持透明的端到端高速缓存重定向的系统和方法
CN102783090B (zh) 用于多核系统中的对象速率限制的系统和方法
CN102771083B (zh) 用于全局服务器负载平衡的IPv6和IPv4 DNS的混合模式的系统和方法
CN102460394B (zh) 用于多核系统中的分布式哈希表的系统和方法
CN102549984B (zh) 在多核架构中分组引导的系统和方法
CN102763375B (zh) 用于全局服务器负载平衡溢出的系统和方法
CN102246489B (zh) 对通过http的异步消息通信进行连接管理的系统和方法
CN102907055B (zh) 用于在多核装置上进行链路负载平衡的系统和方法
CN102771084B (zh) 用于在多核gslb设备中管理静态邻近性的系统和方法
CN103392314B (zh) 用于可扩展的n核统计信息聚合的系统和方法
CN103154895A (zh) 用于在多核系统中的核上管理cookie代理的系统和方法
CN103392320A (zh) 对加密项目进行多层标记以提供额外的安全和有效的加密项目确定的系统和方法
CN103477611A (zh) 用于n层高速缓存重定向的系统和方法
CN103416025A (zh) 用于经由云桥添加vlan标签的系统和方法
CN103765851A (zh) 用于到任何服务的透明的层2重定向的系统和方法
CN104012041A (zh) 用于分析网络指标的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant