CN107852339B - 用于无损网络中的高效虚拟化的系统和方法 - Google Patents

用于无损网络中的高效虚拟化的系统和方法 Download PDF

Info

Publication number
CN107852339B
CN107852339B CN201680040448.3A CN201680040448A CN107852339B CN 107852339 B CN107852339 B CN 107852339B CN 201680040448 A CN201680040448 A CN 201680040448A CN 107852339 B CN107852339 B CN 107852339B
Authority
CN
China
Prior art keywords
virtual
switches
lid
switch
host channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680040448.3A
Other languages
English (en)
Other versions
CN107852339A (zh
Inventor
E·塔索拉斯
F·扎西德
B·D·约翰森
E·G·格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN107852339A publication Critical patent/CN107852339A/zh
Application granted granted Critical
Publication of CN107852339B publication Critical patent/CN107852339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H04L45/247—Multipath using M:N active or standby paths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/48—Routing tree calculation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/48—Routing tree calculation
    • H04L45/484—Routing tree calculation using multiple routing trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Multi Processors (AREA)

Abstract

用于支持无损互连网络中的高效虚拟化的系统和方法。示例性方法可以提供至少包括叶子交换机的一个或多个交换机；多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能；多个管理程序；以及多个虚拟机，其中多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联。该方法可以将多个主机通道适配器布置为具有具有预填充的本地标识符(LID)架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个。该方法可以向虚拟交换机中的每个虚拟交换机指派pLID并且向多个虚拟机中的每个虚拟机指派vLID。

Description

用于无损网络中的高效虚拟化的系统和方法
版权声明
本专利文档公开内容的一部分包含受版权保护的素材。版权拥有者不反对任何人对专利文档或专利公开内容按照在专利商标局的专利文件或记录中出现的那样进行传真复制，但是除此之外在任何情况下都保留所有版权权利。
技术领域
本发明一般而言涉及计算机系统，并且具体地涉及使用SR-IOV vSwitch架构来支持计算机系统虚拟化和实时迁移。
背景技术
随着更大的云计算架构被引入，与传统网络和存储相关联的性能和管理瓶颈成为重要的问题。对于使用诸如InfiniBand(IB)技术之类的高性能无损互连来作为用于云计算构架的基础的兴趣增加。这是本发明的实施例旨在解决的一般领域。
发明内容
本文描述的是用于支持子网中的虚拟机迁移的系统和方法。根据实施例，一种方法可以在包括一个或多个微处理器的一个或多个计算机处提供：一个或多个交换机，该一个或多个交换机至少包括叶子交换机，其中一个或多个交换机中的每一个交换机包括多个端口；多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中多个主机通道适配器经由一个或多个交换机互连；多个管理程序，其中多个管理程序中的每一个管理程序与多个主机通道适配器中的至少一个主机通道适配器相关联；以及多个虚拟机，其中多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联。该方法可以将多个主机通道适配器布置为具有具有预填充的本地标识符(LID)架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个。该方法可以向每个虚拟交换机指派LID，所指派的LID与相关联的物理功能的LID对应。该方法可以至少基于指派给虚拟交换机中的每一个虚拟交换机的LID来计算一个或多个线性转发表(LFT)，该一个或多个LFT中的每一个LFT与一个或多个交换机中的交换机相关联。
根据实施例，一种方法可以在包括一个或多个微处理器的一个或多个计算机处提供：一个或多个微处理器；一个或多个交换机，该一个或多个交换机至少包括叶子交换机，其中一个或多个交换机中的每一个交换机包括多个端口；多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中多个主机通道适配器经由一个或多个交换机互连；多个管理程序，其中多个管理程序中的每一个管理程序与多个主机通道适配器中的至少一个主机通道适配器相关联；以及多个虚拟机，其中多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联。该方法可以将多个主机通道适配器布置有具有预填充的本地标识符(LID)架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个。该方法可以向虚拟交换机中的每一个虚拟交换机指派多个物理LID(pLID)pLID中的pLID，所指派的pLID与相关联的物理功能的pLID对应。该方法还可以向多个虚拟机中的每一个虚拟机指派多个虚拟LID中的vLID，其中LID空间包括多个pLID和多个vLID。
根据实施例，可以使用InfiniBand分组的本地路由报头中的标准SLID字段和DLID字段来表示每个pLID值。而且，每个vLID值可以使用结合表示扩展的两个或更多个附加比特的标准SLID字段和DLID字段的组合来表示。
附图说明
图1示出了根据实施例的InfiniBand环境的图示。
图2示出了根据实施例的网络环境中的树形拓扑的图示。
图3示出了根据实施例的示例性共享端口架构。
图4示出了根据实施例的示例性vSwitch架构。
图5示出了根据实施例的示例性vPort架构。
图6示出了根据实施例的具有预填充的LID的示例性vSwitch架构。
图7示出了根据实施例的具有动态LID指派的示例性vSwitch架构。
图8示出了根据实施例的具有带有动态LID指派和预填充的LID的vSwitch的示例性vSwitch架构。
图9示出了根据实施例的扩展的本地路由报头。
图10示出了根据实施例的两个示例性线性转发表。
图11示出了根据实施例的、支持无损互连网络中的高效虚拟化的图示。
图12示出了根据实施例的、支持无损互连网络中的高效虚拟化的图示。
图13示出了根据实施例的、支持无损互连网络中的高效虚拟化的图示。
图14示出了根据实施例的、支持无损互连网络中的高效虚拟化的图示。
图15示出了根据实施例的潜在虚拟机迁移。
图16示出了根据实施例的交换机元组。
图17示出了根据实施例的重新配置过程。
图18是根据实施例的、用于在无损互连网络中支持高效虚拟化的方法的流程图。
图19是根据实施例的、用于在无损互连网络中支持高效虚拟化的方法的流程图。
具体实施方式
通过示例而非限制的方式在附图的各图中示出了本发明，在附图中类似的附图标记指示类似的元件。应当注意的是，在本公开中对“一”、“一个”或“一些”实施例的引用不一定是指相同的实施例，并且这种引用意味着至少一个。虽然讨论了特定实施方式，但是应当理解的是，特定实施方式仅仅是为了说明性目的而提供。相关领域的技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以使用其它组件和配置。
贯穿附图和具体实施方式可以使用共同的附图标记来指示相同的元素；因此，如果元素在其它地方进行了描述，那么在图中使用的附图标记可以或可以不在特定于该图的详细描述中被引用。
本文描述的是支持无损互连网络中的高效虚拟化的系统和方法。
本发明的以下描述使用InfiniBandTM(无限带宽，IB)网络作为高性能网络的示例。对于本领域技术人员来说明显的是，可以使用其它类型的高性能网络而没有限制。以下描述还使用胖树拓扑作为构架(fabric)拓扑的示例。对于本领域技术人员来说明显的是，可以使用其它类型的构架拓扑而没有限制。
为了满足当前时代(例如，百亿级(Exascale)时代)对云的需求，期望虚拟机能够利用诸如远程直接存储器访问(RDMA)之类的低开销网络通信范式。RDMA绕过OS堆栈并且直接与硬件通信，因此可以使用直通(passthrough)技术，比如单根I/O虚拟化(SR-IOV)网络适配器。根据实施例，为了高性能无损互连网络中的适用性可以提供虚拟交换机(vSwitch)SR-IOV架构。由于网络重新配置时间对于使实时迁移成为实用选项是至关重要的，因此，除了网络架构之外，还可以提供可伸缩的并且与拓扑无关的(topology-agnostic)动态重新配置机制。
根据实施例，并且此外，可以提供使用vSwitch的虚拟化环境的路由策略，并且可以提供用于网络拓扑(例如，胖树拓扑)的高效路由算法。动态重新配置机制可以被进一步调整以使胖树中带来的开销最小化。
根据本发明的实施例，虚拟化可以有益于云计算中的高效资源利用和弹性资源分配。实时迁移使得有可能通过以应用透明的方式在物理服务器之间移动虚拟机(VM)来优化资源使用。因此，虚拟化可以通过实时迁移来实现资源的按需供应、整合以及弹性。
InfiniBandTM
InfiniBandTM(IB)是由InfiniBandTM贸易协会开发的开放标准无损网络技术。该技术基于提供高吞吐量和低延迟通信的串行点对点全双工互连，尤其适合高性能计算(HPC)应用和数据中心。
InfiniBandTM架构(IBA)支持双层拓扑划分。在下层，IB网络被称为子网，其中子网可以包括使用交换机和点对点链路互连的主机集合。在较高级别，IB构架构成可以使用路由器互连的一个或多个子网。
在子网内，可以使用交换机和点对点链路来连接主机。此外，可以存在主管理实体，子网管理器(SM)，SM驻留在子网中的指定设备上。子网管理器负责配置、激活和维护IB子网。另外，子网管理器(SM)可以负责执行IB构架中的路由表计算。这里，例如，IB网络的路由目的在于在本地子网中的所有源和目的地对之间进行适当的负载平衡。
通过子网管理接口，子网管理器与子网管理代理(SMA)交换被称为子网管理分组(SMP)的控制分组。子网管理代理驻留在每个IB子网设备上。通过使用SMP，子网管理器能够发现构架、配置端节点和交换机以及从SMA接收通知。
根据实施例，IB网络中的子网内路由可以基于存储在交换机中的LFT。LFT由SM根据使用中的路由机制来计算。端节点和交换机上的主机通道适配器(HCA)端口使用本地标识符(LID)而被寻址。LFT中的每个条目包括目的地LID(DLID)和输出端口。表中仅支持每LID一个条目。当分组到达交换机时，通过在交换机的转发表中查找DLID来确定它的输出端口。路由是确定性的，因为分组在给定的源-目的地对(LID对)之间采用网络中的相同的路径。
一般而言，除了主子网管理器之外的所有其它子网管理器为了容错都在备用模式下工作。但是，在主子网管理器发生故障的情况下，由备用子网管理器协商新的主子网管理器。主子网管理器还执行子网的周期性扫描，以检测任何拓扑变化并且相应地重新配置网络。
此外，可以使用本地标识符(LID)来对子网内的主机和交换机进行寻址，并且单个子网可以被限制为49151个单播LID。除了作为在子网内有效的本地地址的LID之外，每个IB设备还可以具有64比特全局唯一标识符(GUID)。GUID可以用于形成作为IB三层(L3)地址的全局标识符(GID)。
在网络初始化时，SM可以计算路由表(即，子网内每对节点之间的连接/路由)。此外，每当拓扑改变时，都可以更新路由表，以便确保连接性和最佳性能。在正常操作期间，SM可以执行网络的周期性轻扫以检查拓扑变化。如果在轻扫期间发现变化，或者如果SM接收到标志网络变化的消息(陷阱)，那么SM可以根据发现的变化来重新配置网络。
例如，当网络拓扑改变时，诸如当链路失效时、当添加设备时或者当链路被去除时，SM可以重新配置网络。重新配置步骤可以包括在网络初始化期间执行的步骤。此外，重新配置可以具有限于发生网络变化的子网的局部范围。此外，用路由器对大型构架进行分段可以限制重新配置的范围。
根据实施例，IB网络可以支持分区作为用于提供共享网络构架的系统的逻辑组的隔离的安全机制。构架中的节点上的每个HCA端口可以是一个或多个分区的成员。分区成员资格由集中式分区管理器管理，集中式分区管理器可以是SM的一部分。SM可以将每个端口上的分区成员资格信息配置为16比特分区键(P_Key)的表。SM还可以用分区实施表来配置交换机和路由器端口，该分区实施表包含与通过这些端口发送或接收数据业务(traffic)的端节点相关联的P_Key信息。此外，在一般情况下，交换机端口的分区成员资格可以表示与在出口(朝链路)方向经由端口路由的LID间接相关联的所有成员资格的联合。
根据实施例，对于节点之间的通信，除了管理队列对(QP0和QP1)以外，队列对(QP)和端到端上下文(EEC)可以被指派给特定分区。然后，可以将P_Key信息添加到发送的每个IB传输分组。当分组到达HCA端口或交换机时，可以针对由SM配置的表来验证分组的P_Key值。如果找到无效的P_Key值，那么立即丢弃该分组。以这种方式，仅允许在共享分区的端口之间的通信。
图1中示出了示例InfiniBand构架，图1示出了根据实施例的InfiniBand环境100的图示。在图1所示的示例中，节点A-E、101-105使用InfiniBand构架120经由相应的主机通道适配器111-115通信。根据实施例，各种节点(例如，节点A-E、101-105)可以由各种物理设备来表示。根据实施例，各种节点(例如，节点A-E、101-105)可以由诸如虚拟机之类的各种虚拟设备来表示。
InfiniBand中的虚拟机
在过去的十年中，因为通过硬件虚拟化支持已几乎消除了CPU开销，所以虚拟化高性能计算(HPC)环境的前景已得到相当大的提高；通过使存储器管理单元虚拟化显著降低了存储器开销；通过使用快速SAN存储装置或分布式网络文件系统减少了存储装置开销；并且通过使用设备直通技术(比如单根输入/输出虚拟化(SR-IOV))减少了网络I/O开销。现在，云有可能使用高性能互连解决方案来容纳虚拟HPC(vHPC)集群，以及交付必要的性能。
但是，当与诸如InfiniBand(IB)之类的无损网络耦合时，由于在这些解决方案中使用的复杂寻址和路由方案，某些云功能(诸如虚拟机(VM)的实时迁移)仍然是个问题。IB是提供高带宽和低延迟的互连网络技术，因此非常适合于HPC和其它通信密集型工作负载。
用于将IB设备连接到VM的传统方法是通过利用具有直接指派的SR-IOV。但是，使用SR-IOV实现被指派有IB主机通道适配器(HCA)的VM的实时迁移已被证明是有挑战性的。每个IB连接的节点具有三个不同的地址：LID、GUID和GID。当发生实时迁移时，这些地址中的一个或多个改变。与迁移中的VM通信的其它节点可能丢失连接。当发生这种情况时，通过向IB子网管理器(SM)发送子网监管(SA)路径记录查询来定位要重新连接到的虚拟机的新地址，可以尝试重新开始丢失的连接。
IB使用三种不同类型的地址。第一种类型的地址是16比特本地标识符(LID)。SM向每个HCA端口和每个交换机指派至少一个唯一的LID。LID用于在子网内路由业务。由于LID为16比特长，因此可以做出65536个唯一的地址组合，其中只有49151个(0x0001-0xBFFF)可以用作单播地址。因此，可用单播地址的数量限定了IB子网的最大尺寸。第二种类型的地址是由制造商指派给每个设备(例如，HCA和交换机)和每个HCA端口的64比特全局唯一标识符(GUID)。SM可以向HCA端口指派附加的子网唯一GUID，它在使用SR-IOV时是有用的。第三种类型的地址是128比特全局标识符(GID)。GID是有效的IPv6单播地址，并且向每个HCA端口指派至少一个GID。通过组合由构架管理器指派的全局唯一64比特前缀和每个HCA端口的GUID地址而形成GID。
胖树(FTree)拓扑和路由
根据实施例，基于IB的HPC系统中的一些采用胖树拓扑以利用胖树提供的有用属性。由于每个源目的地对之间有多条路径可用，因此这些属性包括完全的二分带宽和固有的容错。胖树背后的最初想法是，随着树朝着拓扑的根移动，在节点之间采用具有更多可用带宽的较胖链路。较胖链路可以帮助避免上层交换机中的拥塞并且维持二分带宽。
图2示出了根据实施例的网络环境中的树形拓扑的图示。如图2所示，一个或多个端节点201-204可以在网络构架200中被连接。网络构架200可以基于包括多个叶子交换机211-214和多个主干交换机或根交换机231-234的胖树拓扑。此外，网络构架200可以包括一个或多个中间交换机，诸如交换机221-224。
同样如图2所示，端节点201-204中的每一个可以是多宿主节点，即，通过多个端口连接到网络构架200的两个或更多个部分的单个节点。例如，节点201可以包括端口H1和H2，节点202可以包括端口H3和H4，节点203可以包括端口H5和H6，并且节点204可以包括端口H7和H8。
此外，每个交换机可以具有多个交换机端口。例如，根交换机231可以具有交换机端口1-2，根交换机232可以具有交换机端口3-4，根交换机233可以具有交换机端口5-6，并且根交换机234可以具有交换机端口7-8。
根据实施例，胖树路由机制是用于基于IB的胖树拓扑的最流行的路由算法之一。胖树路由机制还在OFED(开放构架企业分发-用于构建和部署基于IB的应用的标准软件栈)子网管理器OpenSM中实现。
胖树路由机制旨在生成在网络构架中跨链路均匀散布最短路径路由的LFT。该机制按索引次序遍历构架并将端节点的目标LID指派给每个交换机端口，并且因此将对应的路由指派给每个交换机端口。对于连接到相同叶子交换机的端节点，索引次序可以取决于端节点连接到的交换机端口(即端口编号顺序)。对于每个端口，该机制可以维护端口使用计数器，并且可以在每次添加新路由时使用这个端口使用计数器来选择最少使用的端口。
根据实施例，在被分区的子网中，不允许不是公共分区的成员的节点进行通信。在实践中，这意味着由胖树路由算法指派的路由中的一些路由不用于用户业务。当胖树路由机制以与它针对其它功能路径所做的相同的方式为这些路由生成LFT时，会出现问题。由于节点按索引的次序进行路由，因此这种行为可能导致链路上的平衡降级。由于路由可以在不考虑分区的情况下执行，因此，一般而言，胖树路由的子网提供分区之间的较差隔离。
根据实施例，胖树是可以利用可用网络资源进行缩放的分层网络拓扑。此外，使用放置在层次的不同级别上的商用交换机容易构建胖树。胖树的不同变体通常可用，包括k-ary-n-trees(k元n树)、扩展的广义胖树(XGFT)、并行端口广义胖树(PGFT)和现实生活胖树(RLFT)。
k-ary-n-tree是具有各自具有2k个端口的kn个端节点和n·kn-1个交换机的n级胖树。每个交换机在树中具有相同数量的向上连接和向下连接。XGFT胖树通过允许交换机的向上连接和向下连接数量不同以及在树中每个级别的连接的数量不同来扩展k-ary-n-tree。PGFT定义进一步拓宽了XGFT拓扑，并且允许交换机之间的多个连接。可以使用XGFT和PGFT来定义各种各样的拓扑。但是，为了实践的目的，引入了作为PGFT的受限版本的RLFT来定义当今HPC集群中常见的胖树。RLFT在胖树的所有级别使用相同端口计数的交换机。
输入/输出(I/O)虚拟化
根据实施例，I/O虚拟化(IOV)可以通过允许虚拟机(VM)访问底层物理资源来提供I/O的可用性。存储业务和服务器间通信的组合带来了可能压垮单个服务器的I/O资源的增加的负载，从而导致积压和空闲处理器，这是由于它们在等待数据。随着I/O请求的数量增加，IOV可以提供可用性；并且可以提高(虚拟化的)I/O资源的性能、可伸缩性和灵活性，以匹配在现代CPU虚拟化中所看到的性能水平。
根据实施例，IOV是期望的，因为它可以允许共享I/O资源并且提供VM对资源的受保护的访问。IOV将暴露给VM的逻辑设备与它的物理实现解耦。当前，可以存在不同类型的IOV技术，诸如仿真、半虚拟化、直接指派(DA)和单根I/O虚拟化(SR-IOV)。
根据实施例，一种类型的IOV技术是软件仿真。软件仿真可以允许解耦的前端/后端软件架构。前端可以是置于VM中、与由管理程序实现的后端通信的设备驱动程序，以提供I/O访问。物理设备共享比高，并且VM的实时迁移可能只需几毫秒的网络停机时间。但是，软件仿真引入了附加的、不期望的计算开销。
根据实施例，另一种类型的IOV技术是直接设备指派。直接设备指派涉及将I/O设备耦合到VM，其中在VM之间没有设备共享。直接指派或设备直通以最小的开销提供接近本地的(native)性能。物理设备绕过管理程序并且直接附连到VM。但是，这种直接设备指派的缺点是有限的可伸缩性，因为在虚拟机之间不存在共享—一个物理网卡与一个VM耦合。
根据实施例，单根IOV(SR-IOV)可以允许物理设备通过硬件虚拟化而表现为相同设备的多个独立的轻量级实例。这些实例可以被指派给VM作为直通设备，并且可以作为虚拟功能(VF)被访问。管理程序通过(每设备)唯一的、全特征的物理功能(PF)访问设备。SR-IOV使纯直接指派的可伸缩性问题得到缓解。但是，SR-IOV呈现出的问题是它可能会影响VM迁移。在这些IOV技术中，SR-IOV可以允许利用从多个VM直接访问单个物理设备的手段来扩展PCI Express(PCIe)规范，同时维持接近本地的性能。因此，SR-IOV可以提供良好的性能和可伸缩性。
SR-IOV通过向每个客户分配一个虚拟设备来允许PCIe设备暴露可以在多个客户之间共享的多个虚拟设备。每个SR-IOV设备具有至少一个物理功能(PF)和一个或多个相关联的虚拟功能(VF)。PF是由虚拟机监视器(VMM)或管理程序控制的正常PCIe功能，而VF是轻量级的PCIe功能。每个VF都具有其自己的基地址(BAR)，并且被指派有唯一的请求者ID，该唯一的请求者ID使得I/O存储器管理单元(IOMMU)能够区分去往/来自不同VF的业务流。IOMMU还在PF和VF之间应用存储器和中断转换。
但是，令人遗憾的是，在数据中心优化期望虚拟机的透明实时迁移的情况下，直接设备指派技术对云提供商造成障碍。实时迁移的实质是将VM的存储器内容复制到远程管理程序。然后在源管理程序处暂停VM，并且在目的地处恢复VM的操作。当使用软件仿真方法时，网络接口是虚拟的，因此它们的内部状态被存储到存储器中并且也被复制。因此，可以使停机时间下降到几毫秒。
但是，当使用诸如SR-IOV之类的直接设备指派技术时，迁移变得更加困难。在这种情况下，网络接口的完整内部状态不能被复制，因为它与硬件绑定。作为替代，指派给VM的SR-IOV VF被分离，实时迁移将运行，并且新的VF将在目的地处被附连。在InfiniBand和SR-IOV的情况下，该过程可以引入在秒的数量级上的停机时间。此外，在SR-IOV共享端口模型中，在迁移之后，VM的地址将改变，从而导致SM中的附加开销并且对底层网络构架的性能产生负面影响。
InfiniBand SR-IOV架构-共享端口
可以存在不同类型的SR-IOV模型，例如，共享端口模型、虚拟交换机模型和虚拟端口模型。
图3示出了根据实施例的示例性共享端口架构。如图所示，主机300(例如，主机通道适配器)可以与管理程序310交互，管理程序310可以将各种虚拟功能330、340、350指派给多个虚拟机。同样，物理功能可以由管理程序310处理。
根据实施例，当使用诸如图3所示的共享端口架构时，主机(例如，HCA)表现为网络中的具有在物理功能320和虚拟功能330、350、350之间的单个共享LID和共享队列对(QP)空间的单个端口。但是，每个功能(即，物理功能和虚拟功能)可以具有其自己的GID。
如图3所示，根据实施例，可以将不同的GID指派给虚拟功能和物理功能，并且物理功能拥有特殊的队列对QP0和QP1(即，用于InfiniBand管理分组的专用队列对)。这些QP也被暴露给VF，但是VF不允许使用QP0(来自VF的朝着QP0的所有SMP都被丢弃)，并且QP1可以充当由PF拥有的实际QP1的代理。
根据实施例，共享端口架构可以允许不受VM(这些VM通过被指派给虚拟功能而附连到网络)的数量限制的高度可伸缩的数据中心，因为LID空间仅由网络中的物理机器和交换机消耗。
但是，共享端口架构的缺点是无法提供透明的实时迁移，从而阻碍了灵活的VM放置的可能性。由于每个LID与特定管理程序相关联，并且在驻留在管理程序上的所有VM之间共享，因此迁移的VM(即，迁移到目的地管理程序的虚拟机)必须将其LID改变为目的地管理程序的LID。此外，由于受限的QP0访问，子网管理器不能在VM内部运行。
InfiniBand SR-IOV架构模型-虚拟交换机(vSwitch)
图4示出了根据实施例的示例性vSwitch架构。如图所示，主机400(例如，主机通道适配器)可以与管理程序410交互，管理程序410可以将各种虚拟功能430、440、450指派给多个虚拟机。同样，物理功能可以由管理程序410处理。虚拟交换机415还可以由管理程序401处理。
根据实施例，在vSwitch架构中，每个虚拟功能430、440、450是完整的虚拟主机通道适配器(vHCA)，这意味着指派给VF的VM被指派完整的IB地址集合(例如，GID、GUID、LID)和硬件中的专用QP空间。对于网络的其余部分和SM，HCA 400经由虚拟交换机415以及连接到它的附加节点看起来像是交换机。管理程序410可以使用PF 420，并且(附连到虚拟功能的)VM使用VF。
根据实施例，vSwitch架构提供透明的虚拟化。但是，由于每个虚拟功能都被指派唯一的LID，因此可用LID的数量被迅速消耗。同样，在使用许多LID地址(即，每个物理功能和每个虚拟功能各自都有一个LID地址)的情况下，SM必须计算更多通信路径，并且更多的子网管理分组(SMP)必须被发送到交换机，以便更新它们的LFT。例如，在大型网络中通信路径的计算可能花费几分钟。因为LID空间限于49151个单播LID，并且由于每个VM(经由VF)、物理节点和交换机各自占用一个LID，因此网络中的物理节点和交换机的数量限制了活动VM的数量，反之亦然。
InfiniBand SR-IOV架构模型-虚拟端口(vPort)
图5示出了根据实施例的示例性vPort概念。如图所示，主机300(例如，主机通道适配器)可以与管理程序410交互，管理程序410可以将各种虚拟功能330、340、350指派给多个虚拟机。同样，物理功能可以由管理程序310来处理。
根据实施例，vPort概念被宽泛地定义以便赋予供应商实现的自由度(例如，定义不规定实现必须是特定于SRIOV的)，并且vPort的目标是使在子网中处理VM的方式标准化。利用vPort概念，可以定义在空间域和性能域二者中可以更可伸缩的类似SR-IOV共享端口的架构和类似vSwitch的架构或两者的组合。vPort支持可选的LID，并且与共享端口不同的是，即使vPort不使用专用LID，SM也知道子网中所有可用的vPort。
InfiniBand SR-IOV架构模型-具有预填充的LID的vSwitch
根据实施例，本公开提供了用于提供具有预填充的LID的vSwitch架构的系统和方法。
图6示出了根据实施例的具有预填充的LID的示例性vSwitch架构。如图所示，多个交换机501-504可以在网络交换环境600(例如，IB子网)内提供在构架(诸如InfiniBand构架)的成员之间的通信。构架可以包括多个硬件设备，诸如主机通道适配器510、520、530。主机通道适配器510、520、530中的每个又可以分别与管理程序511、521和531交互。每个管理程序又可以与它所交互的主机通道适配器结合建立多个虚拟功能514、515、516、524、525、526、534、535、536并将这些虚拟功能指派给多个虚拟机。例如，虚拟机1 550可以由管理程序511指派给虚拟功能1 514。管理程序511还可以将虚拟机2 551指派给虚拟功能2 515，并且将虚拟机3 552指派给虚拟功能3 516。管理程序531又可以将虚拟机4 553指派给虚拟功能1 534。管理程序可以通过主机通道适配器中的每一个主机通道适配器上的全特征物理功能513、523、533来访问主机通道适配器。
根据实施例，交换机501-504中的每一个可以包括多个端口(未示出)，这些端口用于设置线性转发表以便引导网络交换环境600内的业务。
根据实施例，虚拟交换机512、522和532可以由它们各自的管理程序511、521、531处理。在这样的vSwitch架构中，每个虚拟功能是完整的虚拟主机通道适配器(vHCA)，这意味着指派给VF的VM被指派完整的IB地址(例如，GID、GUID、LID)集合和硬件中的专用QP空间。对于网络的其余部分和SM(未示出)，HCA 510、520和530经由虚拟交换机以及连接到它们的附加节点看起来像交换机。
根据实施例，本公开提供了用于提供具有预填充的LID的vSwitch架构的系统和方法。参考图5，LID被预填充到各个物理功能513、523、533以及虚拟功能514-516、524-526、534-536(甚至当前未与活动虚拟机相关联的那些虚拟功能)。例如，物理功能513用LID 1预填充，而虚拟功能1 534用LID 10预填充。当网络启动时，在启用SR-IOV vSwitch的子网中LID被预填充。即使当并非所有的VF都在网络中被VM占用时，填充的VF也被指派有LID，如图5所示。
根据实施例，非常类似于物理主机通道适配器可以具有多于一个端口(为了冗余两个端口是常见的)，虚拟HCA也可以用两个端口表示，并且可以经由一个、两个或更多个虚拟交换机连接到外部IB子网。
根据实施例，在具有预填充LID的vSwitch架构中，每个管理程序可以通过PF为它自己消耗一个LID，并且为每个附加的VF消耗再多一个LID。在IB子网中的所有管理程序中可用的所有VF的总和给出了允许在子网中运行的VM的最大数量。例如，在子网中每管理程序具有16个虚拟功能的IB子网中，那么每个管理程序在子网中消耗17个LID(用于16个虚拟功能中的每个虚拟功能的一个LID加上用于物理功能的一个LID)。在这种IB子网中，对于单个子网的理论管理程序限制由可用单播LID的数量决定，并且是：2891个(49151个可用LID除以每管理程序17个LID)，并且VM的总数(即，限制)是46256个(2891个管理程序乘以每管理程序16个VF)。(实际上，这些数字其实较小，因为IB子网中的每个交换机、路由器或专用SM节点也消耗LID)。注意的是，vSwitch不需要占用附加的LID，因为它可以与PF共享LID。
根据实施例，在具有预填充的LID的vSwitch架构中，网络第一次启动时，为所有LID计算通信路径。当需要启动新的VM时，系统不必在子网中添加新的LID，否则该动作将导致网络的完全重新配置，包括路径重新计算，这是最耗时的部分。作为替代，VM的可用端口位于管理程序之一(即，可用的虚拟功能)中，并且将虚拟机附连到可用的虚拟功能。
根据实施例，具有预填充的LID的vSwitch架构还允许计算和使用不同路径以到达由同一管理程序托管的不同VM的能力。本质上，这允许这样的子网和网络使用类似LID掩码控制(LMC)的特征来提供朝着一个物理机器的可替代路径，而不受要求LID必须是连续的LMC的限制的约束。当需要迁移VM并将其相关联的LID携带到目的地时，能够自由使用非连续的LID尤其有用。
根据实施例，与以上示出的具有预填充的LID的vSwitch架构的优点一起，某些因素可以被考虑。例如，由于当网络启动时，LID在启用SR-IOV vSwitch的子网中被预填充，因此(例如，在启动时)初始路径计算会比如果LID没有被预填充所花费的时间长。
InfiniBand SR-IOV架构模型-具有动态LID指派的vSwitch
根据实施例，本公开提供了用于提供具有动态LID指派的vSwitch架构的系统和方法。
图7示出了根据实施例的具有动态LID指派的示例性vSwitch架构。如图所示，多个交换机501-504可以在网络交换环境700(例如，IB子网)内提供构架(诸如InfiniBand构架)的成员之间的通信。构架可以包括多个硬件设备，诸如主机通道适配器510、520、530。主机通道适配器510、520、530中的每一个又可以分别与管理程序511、521、531交互。每个管理程序又可以与它所交互的主机通道适配器结合建立多个虚拟功能514、515、516、524、525、526、534、535、536并将这些虚拟功能指派给多个虚拟机。例如，虚拟机1 550可以由管理程序511指派给虚拟功能1 514。管理程序511还可以将虚拟机2 551指派给虚拟功能2 515，并且将虚拟机3 552指派给虚拟功能3 516。管理程序531又可以将虚拟机4 553指派给虚拟功能1 534。管理程序可以通过主机通道适配器中的每一个主机通道适配器上的全特征物理功能513、523、533来访问主机通道适配器。
根据实施例，交换机501-504中的每一个可以包括多个端口(未示出)，这些端口用于设置线性转发表以便引导网络交换环境700内的业务。
根据实施例，虚拟交换机512、522和532可以由它们各自的管理程序511、521、531处理。在这样的vSwitch架构中，每个虚拟功能是完整的虚拟主机通道适配器(vHCA)，这意味着指派给VF的VM被指派完整的IB地址(例如，GID、GUID、LID)集合和硬件中的专用QP空间。对于网络的其余部分和SM(未示出)，HCA510、520和530经由虚拟交换机以及连接到它们的附加节点看起来像交换机。
根据实施例，本公开提供了用于提供具有动态LID指派的vSwitch架构的系统和方法。参考图7，LID被动态指派给各个物理功能513、523、533，其中物理功能513接收LID 1、物理功能523接收LID 2并且物理功能533接收LID 3。与活动虚拟机相关联的那些虚拟功能也可以接收动态指派的LID。例如，由于虚拟机1 550是活动的并且与虚拟功能1 514相关联，因此虚拟功能514可以被指派LID 5。类似地，虚拟功能2 515、虚拟功能3 516和虚拟功能1534各自与活动的虚拟功能相关联。因为这一点，所以这些虚拟功能被指派LID，其中LID 7被指派给虚拟功能2 515，LID 11被指派给虚拟功能3 516，并且LID 9被指派给虚拟功能1534。与具有预填充的LID的vSwitch不同，当前未与活动虚拟机相关联的那些虚拟功能不接收LID指派。
根据实施例，利用动态LID指派，可以显著减少初始的路径计算。当网络第一次启动并且不存在VM时，那么相对少数量的LID可以被用于初始的路径计算和LFT分发。
根据实施例，非常类似于物理主机通道适配器可以具有多于一个的端口(为了冗余两个端口是常见的)，虚拟HCA也可以用两个端口表示，并且可以经由一个、两个或更多个虚拟交换机连接到外部IB子网。
根据实施例，当在利用具有动态LID指派的vSwitch的系统中创建新的VM时，找到空闲的VM槽，以便决定在哪个管理程序上启动新添加的VM，并且还找到唯一的未使用的单播LID。但是，不存在网络中的已知路径和交换机的LFT以用于处理新添加的LID。为了处理新添加的VM而计算新的路径集合在每分钟可以启动若干VM的动态环境中是不期望的。在大型IB子网中，计算一组新的路由可以花费几分钟，并且每当启动新的VM时这个过程将必须重复。
有利的是，根据实施例，由于管理程序中的所有VF与PF共享相同的上行链路，因此不需要计算一组新的路由。仅需要遍历网络中的所有物理交换机的LFT，将来自属于管理程序(在该管理程序中创建VM)的PF的LID条目的转发端口复制到新添加的LID，并且发送单个SMP以更新特定交换机的对应LFT块。因此，该系统和方法避免了计算一组新的路由的需要。
根据实施例，在具有动态LID指派架构的vSwitch中指派的LID不一定是连续的(sequential)。当将具有预填充的LID的vSwitch中的每个管理程序上的VM上指派的LID与具有动态LID指派的vSwitch进行比较时，应当注意的是，在动态LID指派架构中指派的LID是非连续的，而被预填充的LID本质上是连续的。在vSwitch动态LID指派架构中，当创建新的VM时，在VM的整个生命周期中使用下一个可用的LID。相反，在具有预填充的LID的vSwitch中，每个VM都继承已经指派给对应VF的LID，并且在没有实时迁移的网络中，相继附连到给定VF的VM获得相同的LID。
根据实施例，具有动态LID指派架构的vSwitch可以以一些附加的网络和运行时SM开销为代价来解决具有预填充的LID架构模型的vSwitch的缺点。每次创建VM时，用与创建的VM相关联的新添加的LID来更新子网中的物理交换机的LFT。对于这个操作，需要发送每交换机一个子网管理分组(SMP)。因为每个VM正在使用与它的主机管理程序相同的路径，因此类似LMC的功能同样不可用。但是，对所有管理程序中存在的VF的总量没有限制，并且VF的数量可以超过单播LID极限的数量。当然，如果是这种情况，那么并不是所有VF都允许同时附连到活动的VM上，但是，当操作接近单播LID极限时，具有更多的备用管理程序和VF增加了对于灾难恢复和分段网络优化的灵活性。
InfiniBand SR-IOV架构模型-具有动态LID指派和预填充的LID的vSwitch
图8示出了根据实施例的具有动态LID指派和预填充的LID的vSwitch的示例性vSwitch架构。如图所示，多个交换机501-504可以在网络交换环境800(例如，IB子网)内提供构架(诸如InfiniBand构架)的成员之间的通信。构架可以包括多个硬件设备，诸如主机通道适配器510、520、530。主机通道适配器510、520、530中的每一个又可以分别与管理程序511、521和531交互。每个管理程序又可以与它所交互的主机通道适配器结合建立多个虚拟功能514、515、516、524、525、526、534、535、536并将这些虚拟功能指派给多个虚拟机。例如，虚拟机1 550可以由管理程序511指派给虚拟功能1 514。管理程序511还可以将虚拟机2551指派给虚拟功能2 515。管理程序521可以将虚拟机3 552指派给虚拟功能3 526。管理程序531又可以将虚拟机4 553指派给虚拟功能2 535。管理程序可以通过主机通道适配器中的每一个主机通道适配器上的全特征物理功能513、523、533访问主机通道适配器。
根据实施例，交换机501-504中的每一个可以包括多个端口(未示出)，这些端口用于设置线性转发表以便引导网络交换环境800内的业务。
根据实施例，虚拟交换机512、522和532可以由它们各自的管理程序511、521、531处理。在这样的vSwitch架构中，每个虚拟功能是完整的虚拟主机通道适配器(vHCA)，这意味着指派给VF的VM被指派完整的IB地址(例如，GID、GUID、LID)集合和硬件中的专用QP空间。对于网络的其余部分和SM(未示出)，HCA 510、520和530经由虚拟交换机以及连接到它们的附加节点看起来像交换机。
根据实施例，本公开提供了用于提供具有动态LID指派和预填充的LID的混合vSwitch架构的系统和方法。参考图7，管理程序511可以被布置有具有预填充的LID架构的vSwitch，而管理程序521可以被布置有具有预填充的LID和动态LID指派的vSwitch。管理程序531可以被布置有具有动态LID指派的vSwitch。因此，物理功能513和虚拟功能514-516使它们的LID被预填充(即，即使未附连到活动虚拟机的那些虚拟功能也被指派了LID)。物理功能523和虚拟功能1 524可以使它们的LID被预填充，而虚拟功能2和3、525和526使它们的LID被动态指派(即，虚拟功能2 525可用于动态LID指派，并且由于虚拟机3 552被附连，因此虚拟功能3 526具有动态指派的LID 11)。最后，与管理程序3 531相关联的功能(物理功能和虚拟功能)可以使它们的LID被动态指派。这使得虚拟功能1和3、534和536可用于动态LID指派，而虚拟功能2 535由于虚拟机4 553被附连于此所以具有动态指派的LID 9。
根据其中(在任何给定管理程序内独立地或组合地)利用了具有预填充的LID的vSwitch和具有动态LID指派的vSwitch两者的实施例(诸如图8所示的实施例)，每主机通道适配器的预填充的LID的数量可以由构架管理员定义，并且可以在0<＝预填充的VF<＝(每主机通道适配器的)总VF的范围内，并且可以通过从(每主机通道适配器的)VF的总数减去预填充的VF的数量来找到可用于动态LID指派的VF。
根据实施例，非常类似于物理主机通道适配器可以具有多于一个端口(为了冗余两个端口是常见的)，虚拟HCA也可以用两个端口表示，并且可以经由一个、两个或更多个虚拟交换机连接到外部IB子网。
vSwitch可伸缩性
根据实施例，当使用vSwitch架构时的顾虑是有限的LID空间。为了克服与LID空间相关的可伸缩性问题，可以独立地或组合地使用以下三种替代方案(下面将进一步详细讨论每一种方案)：使用多个子网、引入向后兼容的LID空间扩展、以及将vPort和vSwitch架构组合以形成轻量级的vSwitch。
根据实施例，可以使用多个IB子网。LID是2层地址，并且在子网内必须是唯一的。当IB拓扑跨越多个子网时，LID不再是限制，但是如果VM需要迁移到不同的子网，那么它的LID地址可能改变，因为该地址可能已经在新的子网中被使用。跨越多个子网可以解决单个子网拓扑的LID限制，但是这也意味着必须使用3层GID地址进行子网间路由，从而给路由过程增加了附加开销和延迟，因为2层报头必须由位于子网边缘的路由器进行更改。而且，在当前的硬件、软件实现和松散的IBA(InfiniBand架构)规范下，单独子网的SM无法了解全局拓扑，以便向跨越多个子网的集群提供优化的路由路径。
根据实施例，可以引入IBA中的向后兼容的LID空间扩展。通过将LID比特的数目增加到例如24比特或32比特来增加稀缺的LID空间可能有问题。使LID空间增加这样的量可以导致向后兼容性的破坏，因为IB本地路由报头(LRH)将必须被大修(overhaul)，并且遗留(legacy)硬件将无法用新标准进行工作。根据实施例，可以以使得向后兼容性被维持的方式来扩展LID空间，但是仍然允许新硬件利用该增强。LRH具有作为零被发送并且被接收器忽略的七个保留位。通过利用LRH中的这些保留位中的两个保留位用于源LID(SLID)以及两位用于目的地LID(DLID)，LID空间可以被扩展到18比特(LID空间的四倍)并且创建具有被指派给物理装备的物理LID(pLID)和被指派给VM的虚拟LID(vLID)的方案。
根据实施例，当两个附加位作为零被发送时，如当前在IBA中所定义的那样使用LID(48K个单播LID和16K个多播LID)，并且交换机可以针对分组的转发而查找它们的主LFT。否则，LID是vLID，并且它可以基于大小为192K的辅助LFT被转发。由于vLID属于VM并且VM与具有pLID的物理节点共享上行链路，因此当配置(例如，初始配置)或(例如，在拓扑改变之后)重新配置网络时，可以从路径计算阶段中排除vLID，但是交换机中的辅助LFT表可以如上文之前所描述的被更新。当SM启动并发现网络时，SM可以识别是否所有硬件都支持扩展的LID空间。如果不是，那么SM可以以遗留兼容性模式回退，并且VM应当占用来自pLID空间的LID。
图9示出了根据实施例的扩展的本地路由报头。如图所示，在本地路由报头内，虚通道(VL)900包括4个比特，链路版本(Lver)901包括4个比特，服务级别(SL)902包括4个比特，LID扩展标志(LXTF)903包括1个比特，第一保留位(R1)904包括1个比特，链路下一个报头(LNH)905包括2个比特，目的地本地ID(DLID)906包括16个比特，DLID前缀扩展(DPF)907包括2个比特，SLID前缀扩展(SPF)908包括2个比特，第二保留位(R2)909包括1个比特，分组长度(PktLen)910包括11个比特以及源本地ID(SLID)911包括16个比特。根据实施例，保留位904和909二者都可以被设置为零。
根据实施例，如上文所描述的，图9中所示的LRH利用七个(原始)保留位中的四个保留位作为目的地本地ID 906和源本地ID 911的前缀扩展。当与LID扩展标志相关地被利用时，这表示LRH与vLID相关地被使用，该vLID可以经由交换机中的辅助LFT被路由。可替代地，当扩展907和908作为零被发送(并且然后被接收器忽略)时，那么LID与pLID相关联并且如当前在IBA中定义的那样被使用。
图10示出了根据实施例的两个示例性线性转发表。如图10所示，线性转发表916是与pLID相关联的转发表。LFT跨越条目912(条目0，由DLID＝0索引)到条目913(条目48K-1，由DLID＝48K-1索引)，其中LFT中的每个条目由标准的16比特DLID索引，并且包含标准的IB端口号。相反，线性转发表917是与vLID相关联的辅助转发表。LFT跨越条目914(条目0，由18比特DPF+DLID＝0索引)到条目915(条目256K-1，由18比特DPF+DLID＝256K-1索引)，其中每个条目由扩展的18比特DPF+DLID索引，并且包含标准的IB端口号。
根据实施例，可以使用混合架构来形成轻量级vSwitch架构。能够将LID与迁移的VM一起迁移的vSwitch架构相对于子网管理良好地伸缩，因为不需要附加的信令以便在迁移之后重新建立与对等体的连接性，这与LID将改变的共享-LID方案相反。另一方面，共享LID方案相对于LID空间良好地伸缩。在SM了解子网中可用的SR-IOV虚拟功能的情况下，可以实现混合型vSwitch+共享-vPort模型，但是某些VF可以接收专用LID，而其它VF基于它们的GID以共享LID的方式被路由。利用VM节点角色的一些知识，可以向具有许多对等体(例如，服务器)的流行的VM指派专用的LID(例如，以便在网络中计算路由和执行负载平衡时被分开考虑)，而不与许多对等体交互或运行无状态服务(并且不需要被迁移，但可以被重新产生)的其它VM可以共享LID。
基于vSwitch的子网的路由策略
根据实施例，为了获得更好的性能，路由算法在计算路由时可以考虑vSwitch架构。在胖树中，在拓扑发现过程中可以通过vSwitch仅具有到对应叶子交换机的一条上行链路的独特特性来识别vSwitch。一旦vSwitch被识别，路由功能就可以为所有交换机生成LFT，以使得来自每个VM的业务可以找到朝着网络中的所有其它VM的它的路径。每个VM具有其自己的地址，因此每个VM可以独立于附连到同一vSwitch的其它VM被路由。这导致生成朝着拓扑中的vSwitch的独立的多条路径的路由功能，每条路径将业务携带到特定VM。这种方法的一个缺点是，当VM分布在vSwitch之间不均匀时，具有更多VM的vSwitch可能被指派更大的网络资源。但是，从vSwitch到对应叶子交换机的单条向上链路仍然是附连到特定vSwitch的所有VM共享的瓶颈链路。因此，可能获得次优的网络利用率。最简单和最快的路由策略是生成所有vSwitch-vSwitch对之间的路径，并且利用与指派给对应vSwitch相同的路径来路由VM。通过利用预填充的LID指派方案和动态LID指派方案两者，在SR-IOV架构中每个vSwitch具有由PF定义的LID。用于vSwitch的这些PF LID可以被用来在路由的第一阶段中生成LFT，而在第二阶段中，可以将VM的LID添加到生成的LFT。在预填充的LID方案中，可以通过复制对应vSwitch的输出端口来添加用于VF LID的条目。类似地，在新VM启动时进行动态LID指派的情况下，在所有LFT中都添加具有VM的LID和由对应vSwitch确定的输出端口的新条目。这个策略的问题是，由于在网络中共享相同的完整路径，属于碰巧共享vSwitch的不同租户的VM可能具有在它们之间的固有干扰。为了解决这个问题同时仍然保持高的网络利用率，可以使用用于虚拟化子网的加权路由方案。
根据实施例，可以利用用于基于vSwitch的虚拟化子网的加权路由方案。在这种机制中，向vSwitch上的每个VM指派参数权重，该参数权重可以在计算路由时为了平衡而被考虑。权重参数的值反映了在VM的vSwitch中分配给VM的vSwitch到叶子交换机链路容量的比例。例如，简单的配置可以向每个VM指派等于1/num_vms的权重，其中num_vms是在对应vSwitch管理程序上启动的VM的数量。另一种可能的实现可以是将更高比例的vSwitch容量指派给最关键的VM，以优先考虑朝着它们流动的业务。但是，在所有vSwitch上每个vSwitch的VM的累计权重将是相等的，因此拓扑中的链路可以被平衡，而不受实际VM分布的影响。同时，该方案启用多路径路由，其中每个VM可以在网络中被独立路由，从而消除了在拓扑中的中间链路处相同vSwitch VM之间的干扰。该方案可以与在每个vSwitch上实行每VM速率限制相结合，以确保不允许VM超过它的所分配的容量。此外，在网络中存在多个租户组的情况下，可以将比如租户感知路由的技术与所提出的路由方案集成，以在租户之间提供网络范围的隔离。
根据实施例，以下是用于基于IB的胖树拓扑的加权路由。作为胖树路由算法，vSwitchFatTree递归地遍历胖树拓扑，以对于与子网中的每个VM相关联的LID在所有交换机中建立LFT。该机制是确定性的并且支持基于目的地的路由，在基于目的地的路由中从目的地节点处开始向后计算所有路由。
用于虚拟化子网的加权胖树路由算法
Figure BDA0001542234300000251
Figure BDA0001542234300000261
Figure BDA0001542234300000271
根据实施例，上面所示的vSwitchFatTree路由机制如下工作。每个VM被指派成比例的权重，该成比例的权重是通过将vSwitch节点的权重(例如，取为常数1)除以在其上运行的VM的总数来计算的。还可以实现不同的加权方案。例如，实现可以选择基于VM类型来指派权重。但是，为了简单起见，这个讨论关注成比例的加权方案。对于每个叶子交换机，路由机制基于连接的VM以降序对连接的vSwitch进行排序(第3行)。次序是为了确保具有较高权重的VM首先被路由，以便可以平衡指派给链路的路由。路由机制通过调用ROUTEDOWNGOINGBYGOINGUP遍历所有叶子交换机和它们对应的vSwitch，从而从每个VM向上遍历树，以递归地分配朝着树中的VM的路径(第10行)。每个交换机处的下行端口基于所有可用的上行端口组中最小的累计向下权重被选择(ROUTEDOWNGOINGBYGOINGUP，第16行)。当选择下行端口时，机制可以使对应端口的累计向下重量增加正在被路由的VM的权重(ROUTEDOWNGOINGBYGOINGUP，第19行)。在设置了下行端口之后，路由机制可以通过沿着树下行来为朝着所有连接的向下交换机上的VM的路由指派向上端口(并且更新端口的对应的向上权重)(ROUTEUPGOINGBYGOINGDOWN，第20行)。然后通过向上移动到树中的下一个级别来重复该过程。当所有VM都已被路由时，算法还以与VM相同的方式来路由vSwitch的物理LID，虽然利用相同的权重以平衡拓扑中vSwitch到vSwitch的路径(伪代码中未示出)。当在实时迁移的情况下使用最小重新配置方法时，这是期望的以提供改进的平衡。而且，vSwitch的基本物理LID上的路由路径可以被用作预先确定的路径以快速部署新的VM，而不需要重新配置。但是，在一段时间内，整体路由性能与原始的vSwitchFatTree路由相比将略有下降。为了限制性能降级，当超过某个性能阈值时，基于vSwitchFatTree的重新配置可以离线发生。
根据实施例，上面的路由机制可以相对于常规/遗留路由机制提供各种改进。与不考虑拓扑中的vSwitch或VM的原始胖树路由算法不同，vSwitchFatTree标记vSwitch，并且独立于连接到vSwitch的其它VM来路由每个VM。同时，为了迎合vSwitch之间不均匀的VM分布，每个VM被指派与在vSwitch上它被分配的链路的比例对应的权重。权重在维持端口计数器时被使用，以用于平衡胖树中的路径分布。该方案还启用一般化的加权胖树路由，其中可以基于每个VM的业务简档或在网络中的角色优先级来向每个VM指派权重。
图11-图14示出了根据实施例的、支持无损互连网络中的高效虚拟化的图示。具体而言，图11示出了具有四个交换机(根交换机925-926和叶子交换机920-921)、与四个主机/管理程序930、940、950、960相关联的四个虚拟交换机(VS1 931、VS2 941、VS3 951和VS4961)的两级胖树拓扑，其中四个虚拟交换机为八个虚拟机VM1 932、VM2 933、VM3 942、VM4943、VM5 952、VM6 953、VM7 954和VM8 962提供连接性。
为了进一步阐述vSwitchFatTree路由，考虑如图11中所示的具有四个末端节点(vSwitch)的简单虚拟化胖树拓扑。连接到叶子交换机920的vSwitch(VS1和VS2)中的每一个具有两个运行的VM(对于VS1有VM1和VM2，并且对于VS2有VM3和VM4)。第二叶子交换机921具有带有三个VM(VM5、VM6、VM7)的VS3，而一个VM在主机vSwitch VS4上运行。每个叶子交换机连接到两个根交换机925和926，因此存在可用于建立通过根朝着每个VM的路由的两条可替代路径。在图12中使用示出所选择的从根交换机向下的路径的圆圈来示出用于连接到VS1的VM的路由。使用925→920来路由VM 1，而从926→920来路由VM 2。对应的向下负载计数器在所选择的链路上被更新，对于每个VM增加0.5。类似地，如图13中所示，在添加用于VS2的路由之后，VM 3和4分别通过链路925→920和926→920被路由。要注意的是，在路由连接到叶子交换机920的所有VM之后，即使VM被单独地路由，两个链路上的总向下负载也是相等的。连接到叶子交换机921的vSwitch上的VM分布是不同的，因此具有一个VM的vSwitch，VS4，将首先被路由。路由925→921将被分配给VM 8，而连接到VS3的所有三个VM将从926→921被路由，以保持两条下行链路上的累积负载平衡。如图14中所示，给定拓扑中的VM分布，最终的路由在链路中的每条链路上具有平衡的负载，并且只要可能就具有朝着VM的独立路由。
在虚拟机实时迁移时的最小开销重新配置
根据实施例，当VM被迁移时，动态重新配置机制(可以被缩写为ItRC(迭代重新配置))遍历所有交换机并且在必要时更新路由。但是，依赖于子网中的现有LFT(即，在子网内的每个交换机中已经被计算和存在的那些LFT)，实际上仅需要更新交换机的子集。
图15示出了根据实施例的潜在的虚拟机迁移。更具体而言，图15示出了在叶子交换机内的VM的迁移的特殊情况，其中，不管网络拓扑如何，只有对应的叶子交换机需要LFT更新。
如图15中所示，子网可以包括多个交换机(交换机1-交换机12、1301-1312)。这些交换机中的一些交换机可以包括叶子交换机，诸如交换机1 1301、交换机2 1302、交换机111311和交换机12 1312。子网还可以包括多个主机/管理程序1330、1340、1350和1360、多个虚拟交换机VS 1 1331、VS 2 1341、VS 3 1351和VS 4 1361。各个主机/管理程序可以经由虚拟功能在子网内托管虚拟机，诸如VM1 1332、VM2 1333、VM3 1334、VM4 1342、VM5 1343和VM6 1352。
根据实施例，当VM3从管理程序1330迁移(如由粗体箭头所示)以附连到管理程序1340处的空闲虚拟功能时，仅叶子交换机11301处的LFT需要被更新，因为两个管理程序都连接到同一个叶子交换机，并且本地改变将不会影响网络的其余部分。例如，初始路由算法确定从管理程序1360朝着管理程序1330的业务遵循由实线标记的第一路径(即，12→9→5→3→1)。另外，从管理程序1360朝着管理程序1340的业务遵循由虚线标记的第二路径(即，12→10→6→4→1)。当VM3被迁移并且ItRC被用来重新配置网络时，朝着VM3的业务在迁移之前遵循朝着管理程序1330的第一路径，并且在迁移之后将遵循朝着管理程序1340的第二路径。在这种情况下，假定胖树路由算法用于初始路由，那么ItRC方法将更新全部交换机的一半(6/12)，但是，为了使迁移后的VM保持连接仅需要更新单个叶子交换机。
根据实施例，通过限制在VM迁移之后交换机更新的数量，网络可以被较快地重新配置，并且与传统路由更新相比所需的时间和开销可以被减少。这可以经由用于支持胖树上的VM迁移的拓扑感知的快速重新配置方法(被称为FTreeMinRC)来实现，该方法基于与拓扑无关的天际线(skyline)技术。
胖树中的子树和交换机元组
根据实施例，以下描述利用使用XGFT作为示例性胖树网络的最小开销网络重新配置方法FTreeMinRC。但是，这里给出的概念同样对PGFT和RLFT有效。XGFT(n；m1，...，mn；w1，...，wn)是具有n+1个级别的节点的胖树。级别从0到n表示，计算节点在级别n，并且交换机在所有其它级别。除了没有孩子的计算节点以外，级别i(0≤i≤n-1)的所有节点都具有mi个子节点。类似的，除了没有父节点的根交换机之外，级别i(1≤i≤n)的所有其它节点都具有wi+1个父节点。
XGFT(n+1；m1，...，mn+1；w1，...，wn+1)通过利用在新的最高级别的
Figure BDA0001542234300000301
个附加交换机来连接XGFT(n+1；m1，...，mn；w1，...，wn)的mn个独特的副本来递归地构建。通过使用这个定义，以下特性适用：对于n>0，具有n+1个级别的每个XGFT由mn个子树组成(即，对于l级XGFT中的具有n个级别的每个子树，l>n，存在连接mn个n级子树的具有n+1个级别的一个直接超树)。同样，从网络连接性的角度来看，XGFT中的每个子树可以被认为是独特的XGFT，并且子树中的最高级交换机定义朝着它的直接超树的它的天际线。
根据实施例，具有n+1个级别的XGFT中的每个交换机可以由唯一的n元组(l，x1，x2，...，xn)表示。最左侧的元组值l表示树所位于的级别，而这些值中的其余值x1，x2，...，xn表示该交换机在树中与其它交换机对应的位置。特别地，当且仅当对于除i＝l+1以外的所有值都存在ai＝bi时，处于级别l的交换机A(l，a1，...，al，...，an)才连接到处于级别l+1的交换机B(l+1，b1，...，，bl，bl+1...，bn)。
图16示出了根据实施例的交换机元组。更具体而言，该图示出了由针对示例胖树XGFT(4；2，2，2，2；2，2，2，1)实现的OpenSM的胖树路由算法分配的交换机元组。胖树1400可以包括交换机1401-1408、1411-1418、1421-1428和1431-1438。由于胖树具有n＝4个交换机级别(在根级别被标记为行0，直到在叶子级别被标记为行3)，胖树由m1＝2个第一级子树组成，其中每个第一级子树有n’＝n-1＝3个交换机级别。这在图中由用虚线定义的两个方框示出，这两个方框围住了从级别1到级别3的交换机，每个第一级子树接收0或1的标识符。这些第一级子树中的每一个第一级字数由m2＝2个第二级子树组成，其中每个第二级子树在叶子交换机之上具有n”＝n’-1＝2个交换机级别。这在图中由点线定义的四个方框示出，这四个方框围住了从级别2到级别3的交换机，每个第二级子树接收标识符0或1。类似地，还可以将叶子交换机中的每一个叶子交换机考虑为子树，如图中由点划线定义的八个方框所示出的，并且这些子树中的每个子树都接收标识符0或1。
根据实施例，并且如图中所例示的，可以将诸如四数字元组之类的元组指派给各个交换机，元组中的每个数字指示对于元组中的每个值的位置的具体子树对应性。例如，可以向交换机1413(其可以被称为交换机1_3)指派元组1.0.1.1，这表示它的位置在1级并且在第0个第一级子树处。
在实时迁移的情况下的利用FTreeMinRC的胖树感知的最小化重新配置
根据实施例，交换机元组对关于交换机的与拓扑中的子树对应的位置的信息进行编码。FTreeMinRC可以使用这个信息以在实时VM迁移的情况下启用快速重新配置。当VM被迁移时，元组信息可以被用来查找具有需要由SM重新配置的最少数量的交换机的天际线。特别地，当VM在胖树拓扑中的两个管理程序之间迁移时，表示需要被更新的最小数量的交换机的天际线由迁移中所涉及的所有子树的所有最高级交换机形成。
根据实施例，当VM被实时迁移时，交换机标记机制可以从连接源管理程序和目的地管理程序的两个叶子交换机开始，并且比较交换机的元组。如果元组匹配，那么机制可以确定VM正在叶子交换机内被迁移。因此，只有对应的叶子交换机被标记以进行重新配置。但是，当元组不匹配时，追踪来自源叶子交换机和目的地叶子交换机二者的向上链路。位于上一级的交换机是叶子级别子树所连接到的直接超树的最高级别交换机，并且是在向下遍历树时到达叶子交换机之前唯一可能的跳。然后，该机制可以在调整元组值以反映当前级别并且与当前树的(一个或多个)子树对应的值被通配之后将源和目的地叶子交换机元组与新追踪的交换机进行比较。同样，被追踪的交换机(对于对应的子树是最高级别交换机)被标记以进行更新，并且如果来自源和目的地交换机元组两者的比较匹配所有被追踪的交换机的元组，那么追踪停止。否则，重复相同的过程，直到该机制从两端定位共同的祖先交换机为止。在最坏的情况下，该机制可以在到达胖树拓扑的根交换机后停止。由于所有向上路径都是从叶子级别开始被追踪的，并且连续子树的天际线交换机被标记，因此当机制到达受迁移影响的最上面的子树时，机制已经在途中选择了作为朝着较低级别交换机的潜在业务网关的所有交换机、以及参与实时迁移的管理程序。因此，该机制已经标记了形成网络的由于实时迁移而受影响的部分的天际线的所有交换机。
根据实施例，交换机标记机制从物理连接性的角度找到需要被更新的交换机的最小数量。但是，并非这些交换机中的全部交换机都包含由路由算法计算的、朝着受重新配置影响的LID的活动路径的情况可能发生。因此，包含活动路由的交换机在更新过程中被优先化，而具有辅助路由的其余交换机可以稍后被更新。
根据实施例，胖树路由机制总是通过相同的根交换机将业务路由到给定的目的地。由于拓扑中在根交换机和端节点之间只存在单个路径，因此，一旦定位了已经被选择来表示给定端节点的根交换机，就可以找到用来将业务路由到端节点的中间交换机。为了找到活动路由，可以从参与的管理程序的源到目的地LID追踪路径，反之亦然。作为已经被选择用于进行重新配置的交换机的子集的交换机可以被标记，并且优先考虑这些交换机的LFT更新。之后，为了保持所有的LFT有效，可以更新其余的所选择的交换机。
图17示出了根据实施例的重新配置过程。胖树1400可以包括交换机1401-1408、1411-1418、1421-1428和1431-1438。由于胖树具有n＝4个交换机级别(在根级别被标记为行0，直到在叶子级别被标记为行3)，胖树由m1＝2个第一级子树组成，其中每个第一级子树具有n’＝n-1＝3个交换机级别。这些第一级子树中的每一个由m2＝2个第二级子树组成，其中每个第二级子树在叶子交换机之上具有n”＝n’-1＝2个交换机级别。类似地，叶子交换机中的每个叶子交换机也可以被认为是子树。
根据实施例，图17示出了在连接到具有元组3.0.0.0和3.0.1.1的叶子交换机的两个管理程序之间迁移VM的情况。当该机制从所选择的叶子交换机向上追踪路径时，这两个元组被用作比较的基础。在这个示例中，在级别1上找到共同的祖先交换机。级别0是根级别，并且级别3是叶子级别。具有所显示的元组信息的这些交换机之间的链路是在机制的整个执行过程中可以被追踪的链路，并且这些交换机都可以被标记为进行更新。交换机中的突出显示的五个交换机(交换机1431、1421、1411、1423和1434)以及它们之间的链路表示活动路由，并且它们的LFT更新可以被优先化。
根据实施例，FTreeMinRC使需要被发送到交换机的LFT更新的数量最小化，以便在支持实时迁移的虚拟化数据中心中以最小开销提供快速连接。
图18是根据实施例的、用于支持无损互连网络中的高效虚拟化的方法的流程图。在步骤1810，该方法可以在包括一个或多个微处理器的一个或多个计算机处提供一个或多个交换机，该一个或多个交换机至少包括叶子交换机，其中一个或多个交换机中的每一个交换机包括多个端口；多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中多个主机通道适配器经由一个或多个交换机互连；多个管理程序，其中多个管理程序中的每一个管理程序与多个主机通道适配器中的至少一个主机通道适配器相关联；以及多个虚拟机，其中多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联。
在步骤1820，该方法可以将多个主机通道适配器布置有具有预填充的本地标识符(LID)架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个。
在步骤1830，该方法可以向每个虚拟交换机指派LID，所指派的LID与相关联的物理功能的LID对应。
在步骤1840，该方法可以至少基于指派给虚拟交换机中的每一个虚拟交换机的LID来计算一个或多个线性转发表，一个或多个LFT中的每一个LFT与一个或多个交换机中的交换机相关联。
图19是根据实施例的、用于在无损互连网络中支持高效虚拟化的方法的流程图。在步骤1910，该方法可以在包括一个或多个微处理器的一个或多个计算机处提供一个或多个微处理器；一个或多个交换机，该一个或多个交换机至少包括叶子交换机，其中一个或多个交换机中的每一个交换机包括多个端口；多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中多个主机通道适配器经由一个或多个交换机互连；多个管理程序，其中多个管理程序中的每一个管理程序与多个主机通道适配器中的至少一个主机通道适配器相关联；以及多个虚拟机，其中多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联。
在步骤1920，该方法可以将多个主机通道适配器布置为具有具有预填充的本地标识符(LID)架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个。
在步骤1930，该方法可以向虚拟交换机中的每一个虚拟交换机指派多个pLID中的pLID，所指派的pLID与相关联的物理功能的pLID对应。
在步骤1940，该方法可以向多个虚拟机中的每一个虚拟机指派多个vLID中的vLID，其中LID空间包括多个pLID和多个vLID。
本发明的许多特征可以在硬件、软件、固件或其组合中执行，利用硬件、软件、固件或其组合执行，或者在硬件、软件、固件或其组合的帮助下执行。因此，本发明的特征可以利用(例如，包括一个或多个处理器的)处理系统来实现。
本发明的特征可以在计算机程序产品中、利用计算机程序产品、或者在计算机程序产品的帮助下执行，其中该计算机程序产品是具有存储在其上/其中的可用来对处理系统编程以执行本文所呈现的特征中的任何特征的指令的存储介质(媒介)或计算机可读介质(媒介)。存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微驱动器、以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)、或适于存储指令和/或数据的任何类型的媒介或设备。
通过被存储在机器可读介质(媒介)中的任何机器可读介质中，本发明的特征可以被结合到软件和/或固件中，以用于控制处理系统的硬件，并且用于使处理系统能够利用本发明的结果与其它机制交互。这种软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
本发明的特征还可以利用例如硬件部件(诸如专用集成电路(ASIC))在硬件中实现。为了执行本文所描述的功能的硬件状态机的实现对相关领域的技术人员将是明显的。
此外，本发明可以方便地利用包括根据本公开的教导编程的一个或多个处理器、存储器和/或计算机可读存储介质的一个或多个常规的通用或专用数字计算机、计算设备、机器或微处理器来实现。适当的软件编码可以容易地由熟练的程序员基于本公开的教导来准备，如对软件领域的技术人员将明显的。
虽然上文已经描述了本发明的各种实施例，但是应该理解的是，它们已作为示例而不是限制被给出。对相关领域的技术人员来说将明显的是，在不背离本发明的精神和范围的情况下，可以在其中做出各种形式和细节上的变化。
已经借助示出具体功能及其关系的执行的功能构建块来描述了本发明。这些功能构建块的边界在本文中通常为了方便描述而被任意定义。可以定义可替代的边界，只要具体的功能及其关系被适当地执行。任何这种可替代的边界因此在本发明的范围和精神内。
本发明的以上描述是为了说明和描述的目的被提供。它不旨在是详尽的或者要把本发明限定到所公开的精确形式。本发明的广度和范围不应该由上文描述的示例性实施例中的任何实施例来限制。许多修改和变化对本领域技术人员来说将是明显的。修改和变化包括所公开的特征的任何相关组合。实施例被选择和描述是为了最好地解释本发明的原理及其实践应用，从而使本领域其它技术人员能够对于各种实施例并且利用适于预期的特定用途的各种修改来理解本发明。旨在由以下权利要求及其等价物来定义本发明的范围。

Claims (20)

1.一种用于支持无损互连网络中的高效虚拟化的系统，包括：
一个或多个微处理器；
一个或多个交换机，其中所述一个或多个交换机中的每个交换机包括多个端口并且至少包括主线性转发表LFT和辅助LFT；
多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中所述多个主机通道适配器经由所述一个或多个交换机互连；
多个管理程序，其中所述多个管理程序中的每一个管理程序与所述多个主机通道适配器中的至少一个主机通道适配器相关联；以及
多个虚拟机，其中所述多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联；
其中所述多个主机通道适配器被布置为具有具有预填充的本地标识符LID架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个；
其中LID空间包括多个物理LID(pLID)和多个虚拟LID(vLID)；
其中虚拟交换机中的每一个虚拟交换机被指派所述多个pLID中的pLID，所指派的pLID与相关联的物理功能的pLID对应；以及
其中所述多个虚拟机中的每一个虚拟机被指派所述多个vLID中的vLID；
其中至少基于指派给虚拟交换机中的每一个虚拟交换机的pLID来计算一个或多个主LFT，所述一个或多个LFT中的每一个LFT与所述一个或多个交换机中的交换机相关联；以及
其中至少基于指派给所述多个虚拟机中的每一个虚拟机的vLID来计算一个或多个辅助LFT，辅助LFT中的每一个辅助LFT与所述一个或多个交换机中的交换机相关联。
2.如权利要求1所述的系统，其中所述辅助LFT中的每一个辅助LFT将业务转发到所述多个虚拟机。
3.如权利要求1或2所述的系统，其中，在虚拟机迁移时，更新所述辅助LFT中的一个或多个辅助LFT。
4.如权利要求1或2所述的系统，其中所述一个或多个交换机中的每一个交换机以及所述多个主机通道适配器中的每一个主机通道适配器都被指派有pLID。
5.如权利要求1或2所述的系统，其中子网管理器在重新配置期间在所述无损互连网络上执行路径计算，所述路径计算从计算中排除每个vLID。
6.如权利要求1或2所述的系统，其中所述无损互连网络包括InfiniBand构架，并且其中每个pLID值使用InfiniBand分组的本地路由报头中的标准源LID字段和目的地LID字段来表示，并且其中每个vLID值使用与表示扩展的两个或更多个附加比特组合的标准源LID字段和目的地LID字段的组合来表示。
7.如权利要求1或2所述的系统，其中所述一个或多个交换机包括叶子交换机。
8.一种用于支持无损互连网络中的高效虚拟化的方法，包括：
在包括一个或多个微处理器的一个或多个计算机处提供：
一个或多个交换机，其中所述一个或多个交换机中的每个交换机包括多个端口并且至少包括主线性转发表LFT和辅助LFT；
多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中所述多个主机通道适配器经由所述一个或多个交换机互连；
多个管理程序，其中所述多个管理程序中的每一个管理程序与所述多个主机通道适配器中的至少一个主机通道适配器相关联，以及
多个虚拟机，其中所述多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联；
将所述多个主机通道适配器布置为具有具有预填充的本地标识符LID架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个；
向虚拟交换机中的每一个虚拟交换机指派多个物理LID(pLID)中的pLID，所指派的pLID与相关联的物理功能的pLID对应；以及
向所述多个虚拟机中的每一个虚拟机指派多个虚拟LID(vLID)中的vLID；
其中LID空间包括所述多个pLID和所述多个vLID；
其中至少基于指派给虚拟交换机中的每一个虚拟交换机的pLID来计算一个或多个主LFT，所述一个或多个LFT中的每一个LFT与所述一个或多个交换机中的交换机相关联；以及
其中至少基于指派给所述多个虚拟机中的每一个虚拟机的vLID来计算一个或多个辅助LFT，辅助LFT中的每一个辅助LFT与所述一个或多个交换机中的交换机相关联。
9.如权利要求8所述的方法，其中所述辅助LFT中的每一个辅助LFT将业务转发到所述多个虚拟机。
10.如权利要求8或9所述的方法，其中，在虚拟机迁移时，更新所述辅助LFT中的一个或多个辅助LFT。
11.如权利要求8或9所述的方法，其中所述一个或多个交换机中的每一个交换机以及所述多个主机通道适配器中的每一个主机通道适配器都被指派有pLID。
12.如权利要求8或9所述的方法，其中子网管理器在重新配置期间在所述无损互连网络上执行路径计算，所述路径计算从计算中排除每个vLID。
13.如权利要求8或9所述的方法，其中所述无损互连网络包括InfiniBand构架，并且其中每个pLID值使用InfiniBand分组的本地路由报头中的标准源LID字段和目的地LID字段来表示，并且其中每个vLID值使用与表示扩展的两个或更多个附加比特组合的标准源LID字段和目的地LID字段的组合来表示。
14.如权利要求8或9所述的方法，其中所述一个或多个交换机包括叶子交换机。
15.一种非暂态计算机可读存储介质，包括存储在其上的用于支持无损互连网络中的高效虚拟化的指令，所述指令当由一个或多个计算机读取和执行时，使得所述一个或多个计算机执行如权利要求8至14中任一项所述的方法。
16.一种非暂态计算机可读存储介质，包括存储在其上的用于支持无损互连网络中的高效虚拟化的指令，所述指令当由一个或多个计算机读取和执行时，使得所述一个或多个计算机执行包括以下操作的步骤：
在包括一个或多个微处理器的所述一个或多个计算机处提供：
一个或多个交换机，其中所述一个或多个交换机中的每个交换机包括多个端口并且至少包括主线性转发表LFT和辅助LFT；
多个主机通道适配器，其中主机通道适配器中的每一个主机通道适配器包括至少一个虚拟功能、至少一个虚拟交换机和至少一个物理功能，并且其中所述多个主机通道适配器经由所述一个或多个交换机互连；
多个管理程序，其中所述多个管理程序中的每一个管理程序与所述多个主机通道适配器中的至少一个主机通道适配器相关联，以及
多个虚拟机，其中所述多个虚拟机中的每一个虚拟机与至少一个虚拟功能相关联；
将所述多个主机通道适配器布置为具有具有预填充的本地标识符LID架构的虚拟交换机或具有动态LID指派架构的虚拟交换机中的一个或多个；
向虚拟交换机中的每一个虚拟交换机指派多个物理LID(pLID)中的pLID，所指派的pLID与相关联的物理功能的pLID对应；以及
向所述多个虚拟机中的每一个虚拟机指派多个虚拟LID(vLID)中的vLID；
其中LID空间包括所述多个pLID和所述多个vLID；
其中至少基于指派给虚拟交换机中的每一个虚拟交换机的pLID来计算一个或多个主LFT，所述一个或多个LFT中的每一个LFT与所述一个或多个交换机中的交换机相关联；以及
其中至少基于指派给所述多个虚拟机中的每一个虚拟机的vLID来计算一个或多个辅助LFT，辅助LFT中的每一个辅助LFT与所述一个或多个交换机中的交换机相关联。
17.如权利要求16所述的非暂态计算机可读存储介质，
其中所述一个或多个交换机中的每一个交换机以及所述多个主机通道适配器中的每一个主机通道适配器都被指派有pLID；
其中子网管理器在重新配置期间在所述无损互连网络上执行路径计算，所述路径计算从计算中排除每个vLID；
其中所述辅助LFT中的每一个辅助LFT将业务转发到所述多个虚拟机；以及
其中，在虚拟机迁移时，更新所述辅助LFT中的一个或多个辅助LFT。
18.如权利要求16或17所述的非暂态计算机可读存储介质，其中所述无损互连网络包括InfiniBand构架，并且其中每个pLID值使用InfiniBand分组的本地路由报头中的标准源LID字段和目的地LID字段来表示，并且其中每个vLID值使用与表示扩展的两个或更多个附加比特组合的标准源LID字段和目的地LID字段的组合来表示。
19.如权利要求16或17所述的非暂态计算机可读存储介质，其中所述一个或多个交换机包括叶子交换机。
20.一种包括用于执行如权利要求8-14中任一项所述的方法的步骤的部件的装置。
CN201680040448.3A 2015-11-24 2016-11-18 用于无损网络中的高效虚拟化的系统和方法 Active CN107852339B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201562259321P 2015-11-24 2015-11-24
US62/259,321 2015-11-24
US201562259831P 2015-11-25 2015-11-25
US62/259,831 2015-11-25
US201562261103P 2015-11-30 2015-11-30
US62/261,103 2015-11-30
US15/210,599 US10051054B2 (en) 2013-03-15 2016-07-14 System and method for efficient virtualization in lossless interconnection networks
US15/210,599 2016-07-14
US15/210,595 US10230794B2 (en) 2013-03-15 2016-07-14 System and method for efficient virtualization in lossless interconnection networks
US15/210,595 2016-07-14
PCT/US2016/062882 WO2017091475A1 (en) 2015-11-24 2016-11-18 System and method for efficient virtualization in lossless networks

Publications (2)

Publication Number Publication Date
CN107852339A CN107852339A (zh) 2018-03-27
CN107852339B true CN107852339B (zh) 2021-11-02

Family

ID=58721366

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680040448.3A Active CN107852339B (zh) 2015-11-24 2016-11-18 用于无损网络中的高效虚拟化的系统和方法
CN201680038091.5A Active CN107710159B (zh) 2015-11-24 2016-11-18 用于无损网络中的高效虚拟化的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680038091.5A Active CN107710159B (zh) 2015-11-24 2016-11-18 用于无损网络中的高效虚拟化的系统和方法

Country Status (5)

Country Link
US (7) US10051054B2 (zh)
EP (2) EP3380934B1 (zh)
JP (4) JP6878396B2 (zh)
CN (2) CN107852339B (zh)
WO (2) WO2017091475A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990221B2 (en) 2013-03-15 2018-06-05 Oracle International Corporation System and method for providing an infiniband SR-IOV vSwitch architecture for a high performance cloud computing environment
US10051054B2 (en) 2013-03-15 2018-08-14 Oracle International Corporation System and method for efficient virtualization in lossless interconnection networks
US10397105B2 (en) * 2014-03-26 2019-08-27 Oracle International Corporation System and method for scalable multi-homed routing for vSwitch based HCA virtualization
WO2018031937A1 (en) * 2016-08-12 2018-02-15 Liqid Inc. Disaggregated fabric-switched computing platform
US10848432B2 (en) * 2016-12-18 2020-11-24 Cisco Technology, Inc. Switch fabric based load balancing
US10228981B2 (en) 2017-05-02 2019-03-12 Intel Corporation High-performance input-output devices supporting scalable virtualization
US10572295B2 (en) * 2017-05-05 2020-02-25 Micro Focus Llc Ordering of interface adapters in virtual machines
US10320654B2 (en) * 2017-07-12 2019-06-11 International Business Machines Corporation Method for remote node discovery and communication channel validation and connection
WO2019069120A1 (en) * 2017-10-06 2019-04-11 Telefonaktiebolaget Lm Ericsson (Publ) REMOTE CONTROL OF NETWORK TRANCHES IN A NETWORK
TWI635724B (zh) * 2018-01-02 2018-09-11 中華電信股份有限公司 虛擬機器搬遷之系統與方法
CN110071900B (zh) * 2018-01-23 2020-11-17 华为技术有限公司 数据发送的方法及设备
US10574755B2 (en) * 2018-03-28 2020-02-25 Wipro Limited Method and high performance computing (HPC) switch for optimizing distribution of data packets
CN111106974B (zh) * 2018-10-25 2022-03-08 中国信息通信研究院 一种测试无损网络性能的方法和装置
WO2020160034A1 (en) * 2019-01-29 2020-08-06 Oracle International Corporation System and method for a single logical ip subnet across multiple independent layer 2 (l2) subnets in a high performance computing environment
JP7193733B2 (ja) * 2019-04-16 2022-12-21 富士通株式会社 通信制御プログラム、通信制御方法および情報処理装置
CN110086722A (zh) * 2019-04-28 2019-08-02 新华三技术有限公司 一种路由路径确定方法及装置、路由设备
US10958560B2 (en) * 2019-07-16 2021-03-23 At&T Intellectual Property I, L.P. Common abstraction for network traffic migration
US11700206B2 (en) * 2019-11-19 2023-07-11 Oracle International Corporation System and method for supporting RDMA bandwidth restrictions in a private fabric in a high performance computing environment
CN111835653B (zh) * 2020-07-20 2023-10-20 浙江亿邦通信科技有限公司 一种网络流量负载均衡的控制方法及系统
CN114584868B (zh) * 2022-02-12 2023-07-18 国网宁夏电力有限公司电力科学研究院 数据中心光电混合架构升级方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055532A (en) * 1996-05-14 2000-04-25 Soeder; Thomas B. Method and apparatus for recording and reading date data having coexisting formats
CN104094230A (zh) * 2012-03-26 2014-10-08 甲骨文国际公司 用于支持虚拟化环境中的虚拟机的动态迁移的系统和方法

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644762A (en) 1996-05-14 1997-07-01 Resolve 2000, Inc. Method and apparatus for recording and reading date data having coexisting formats
US20030208572A1 (en) 2001-08-31 2003-11-06 Shah Rajesh R. Mechanism for reporting topology changes to clients in a cluster
US7093024B2 (en) 2001-09-27 2006-08-15 International Business Machines Corporation End node partitioning using virtualization
US6988161B2 (en) 2001-12-20 2006-01-17 Intel Corporation Multiple port allocation and configurations for different port operation modes on a host
KR20050002865A (ko) 2002-04-18 2005-01-10 인터내셔널 비지네스 머신즈 코포레이션 인피니밴드 채널 어댑터 장애용 리던던시 제공 방법 및 컴퓨터 시스템
US7493409B2 (en) 2003-04-10 2009-02-17 International Business Machines Corporation Apparatus, system and method for implementing a generalized queue pair in a system area network
US8776050B2 (en) * 2003-08-20 2014-07-08 Oracle International Corporation Distributed virtual machine monitor for managing multiple virtual resources across multiple physical nodes
US7555002B2 (en) 2003-11-06 2009-06-30 International Business Machines Corporation Infiniband general services queue pair virtualization for multiple logical ports on a single physical port
US8335909B2 (en) 2004-04-15 2012-12-18 Raytheon Company Coupling processors to each other for high performance computing (HPC)
US7581021B2 (en) 2005-04-07 2009-08-25 International Business Machines Corporation System and method for providing multiple virtual host channel adapters using virtual switches
JP4883979B2 (ja) 2005-10-11 2012-02-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および通信制御方法
US7813366B2 (en) 2006-12-19 2010-10-12 International Business Machines Corporation Migration of a virtual endpoint from one virtual plane to another
US20080189432A1 (en) 2007-02-02 2008-08-07 International Business Machines Corporation Method and system for vm migration in an infiniband network
US20080186990A1 (en) 2007-02-02 2008-08-07 International Business Machines Corporation Translation module, method and computer program product for providing multiple infiniband address support for vm migration using infiniband address translation
US8798056B2 (en) 2007-09-24 2014-08-05 Intel Corporation Method and system for virtual port communications
CN101227298B (zh) * 2008-01-09 2010-06-02 南京大学 基于片上网络的路由器功耗确定方法
US7949721B2 (en) * 2008-02-25 2011-05-24 International Business Machines Corporation Subnet management discovery of point-to-point network topologies
JP2010039730A (ja) 2008-08-05 2010-02-18 Fujitsu Ltd ネットワーク設定プログラム，ネットワーク設定方法及びネットワーク設定装置
JP5272265B2 (ja) 2008-09-29 2013-08-28 株式会社日立製作所 Ｐｃｉデバイス共有方法
US7970913B2 (en) 2008-12-31 2011-06-28 International Business Machines Corporation Virtualizing sockets to enable the migration of a system environment
WO2010099407A1 (en) 2009-02-27 2010-09-02 Broadcom Corporation Method and system for virtual machine networking
US9817695B2 (en) 2009-04-01 2017-11-14 Vmware, Inc. Method and system for migrating processes between virtual machines
US8429647B2 (en) 2009-05-06 2013-04-23 Vmware, Inc. Virtual machine migration across network by publishing routes to the associated virtual networks via virtual router after the start of migration of the virtual machine
US8150971B2 (en) 2009-05-31 2012-04-03 Red Hat Israel, Ltd. Mechanism for migration of client-side virtual machine system resources
JP5375403B2 (ja) 2009-07-23 2013-12-25 富士通株式会社 仮想マシン移動制御プログラム，仮想マシン移動制御方法および仮想マシン移動制御装置
JP5717164B2 (ja) 2009-10-07 2015-05-13 日本電気株式会社 コンピュータシステム、及びコンピュータシステムのメンテナンス方法
EP2309680B1 (en) 2009-10-08 2017-07-19 Solarflare Communications Inc Switching API
JP5672235B2 (ja) * 2009-10-19 2015-02-18 日本電気株式会社 通信システム、フロー制御装置、フローテーブルの更新方法およびプログラム
EP3002703B1 (en) * 2009-12-14 2017-08-30 Citrix Systems Inc. Methods and systems for communicating between trusted and non-trusted virtual machines
US9389895B2 (en) * 2009-12-17 2016-07-12 Microsoft Technology Licensing, Llc Virtual storage target offload techniques
HUE025446T2 (en) * 2009-12-30 2016-04-28 Novartis Ag Melt extruded nicotine thin strips
JP5190084B2 (ja) 2010-03-30 2013-04-24 株式会社日立製作所 仮想マシンのマイグレーション方法およびシステム
US8489699B2 (en) 2010-08-13 2013-07-16 Vmware, Inc. Live migration of virtual machine during direct access to storage over SR IOV adapter
US20120173757A1 (en) 2011-01-05 2012-07-05 International Business Machines Corporation Routing optimization for virtual machine migration between geographically remote data centers
US20120287931A1 (en) 2011-05-13 2012-11-15 International Business Machines Corporation Techniques for securing a virtualized computing environment using a physical network switch
US9270650B2 (en) 2011-06-03 2016-02-23 Oracle International Corporation System and method for providing secure subnet management agent (SMA) in an infiniband (IB) network
EP2725496A1 (en) * 2011-06-21 2014-04-30 Fujitsu Limited Information processing device, virtual machine control method and program
US20130025432A1 (en) * 2011-07-27 2013-01-31 Christopher George Schaff Combination carrying case and kick drum creep preventer
US8656389B2 (en) * 2011-08-22 2014-02-18 Vmware, Inc. Virtual port command processing during migration of virtual machine
JP5776600B2 (ja) 2011-09-05 2015-09-09 富士通株式会社 データ中継装置、データ中継プログラムおよびデータ中継方法
US20130083690A1 (en) * 2011-10-04 2013-04-04 International Business Machines Corporation Network Adapter Hardware State Migration Discovery in a Stateful Environment
US9014201B2 (en) 2011-11-09 2015-04-21 Oracle International Corporation System and method for providing deadlock free routing between switches in a fat-tree topology
US8879396B2 (en) 2011-11-15 2014-11-04 Oracle International Corporation System and method for using dynamic allocation of virtual lanes to alleviate congestion in a fat-tree topology
US9083651B2 (en) * 2011-12-07 2015-07-14 Citrix Systems, Inc. Controlling a network interface using virtual switch proxying
US8930690B2 (en) * 2012-03-21 2015-01-06 Microsoft Corporation Offloading packet processing for networking device virtualization
US9432304B2 (en) * 2012-03-26 2016-08-30 Oracle International Corporation System and method for supporting live migration of virtual machines based on an extended host channel adaptor (HCA) model
JP5383846B2 (ja) 2012-03-27 2014-01-08 ファナック株式会社 産業用ロボットの手首先端部における線条体案内機構部
US9135097B2 (en) 2012-03-27 2015-09-15 Oracle International Corporation Node death detection by querying
US20140052877A1 (en) * 2012-08-16 2014-02-20 Wenbo Mao Method and apparatus for tenant programmable logical network for multi-tenancy cloud datacenters
US9130858B2 (en) 2012-08-29 2015-09-08 Oracle International Corporation System and method for supporting discovery and routing degraded fat-trees in a middleware machine environment
US9461943B2 (en) * 2012-09-12 2016-10-04 Cisco Technology, Inc. Network assisted virtual machine mobility
CN102968344A (zh) 2012-11-26 2013-03-13 北京航空航天大学 一种多虚拟机迁移调度的方法
US8937949B2 (en) 2012-12-20 2015-01-20 Oracle International Corporation Method and system for Infiniband host channel adapter multicast packet replication mechanism
US9485188B2 (en) * 2013-02-01 2016-11-01 International Business Machines Corporation Virtual switching based flow control
US10404621B2 (en) * 2013-03-15 2019-09-03 Oracle International Corporation Scalable InfiniBand packet-routing technique
US10051054B2 (en) 2013-03-15 2018-08-14 Oracle International Corporation System and method for efficient virtualization in lossless interconnection networks
CN104079507B (zh) * 2013-03-27 2019-04-09 联想企业解决方案（新加坡）私人有限公司 同步ip信息的方法和装置
US9912612B2 (en) * 2013-10-28 2018-03-06 Brocade Communications Systems LLC Extended ethernet fabric switches
US9306865B2 (en) * 2014-03-12 2016-04-05 Oracle International Corporation Virtual port mappings for non-blocking behavior among physical ports
US10454991B2 (en) * 2014-03-24 2019-10-22 Mellanox Technologies, Ltd. NIC with switching functionality between network ports
CN104184642B (zh) * 2014-08-31 2017-05-10 西安电子科技大学 多级星型交换网络结构及优化方法
US9898430B2 (en) 2014-11-12 2018-02-20 Vmware, Inc. Tracking virtual machine memory modified by a single root I/O virtualization (SR-IOV) device
US10063446B2 (en) 2015-06-26 2018-08-28 Intel Corporation Netflow collection and export offload using network silicon

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055532A (en) * 1996-05-14 2000-04-25 Soeder; Thomas B. Method and apparatus for recording and reading date data having coexisting formats
CN104094230A (zh) * 2012-03-26 2014-10-08 甲骨文国际公司 用于支持虚拟化环境中的虚拟机的动态迁移的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Towards the InfiniBand SR-IOV vSwitch Architecture;Evangelos Tasoulas 等;《2015 IEEE International Conference on Cluster Computing》;20150908;第1-6,8节、图2-6 *

Also Published As

Publication number Publication date
US10742734B2 (en) 2020-08-11
US10051054B2 (en) 2018-08-14
US20170149888A1 (en) 2017-05-25
US20200412803A1 (en) 2020-12-31
WO2017091475A1 (en) 2017-06-01
US20230107267A1 (en) 2023-04-06
EP3381154B1 (en) 2022-04-13
US20190173944A1 (en) 2019-06-06
EP3380934B1 (en) 2024-03-13
US10778764B2 (en) 2020-09-15
EP3380934A1 (en) 2018-10-03
JP6843112B2 (ja) 2021-03-17
US11533363B2 (en) 2022-12-20
CN107710159B (zh) 2021-07-13
JP7472200B2 (ja) 2024-04-22
JP6878396B2 (ja) 2021-05-26
US10230794B2 (en) 2019-03-12
US11930075B2 (en) 2024-03-12
US20170149887A1 (en) 2017-05-25
EP3381154A1 (en) 2018-10-03
JP7109527B2 (ja) 2022-07-29
JP2018536302A (ja) 2018-12-06
CN107852339A (zh) 2018-03-27
JP2021073551A (ja) 2021-05-13
US20200014749A1 (en) 2020-01-09
US10432719B2 (en) 2019-10-01
US20180337990A1 (en) 2018-11-22
WO2017091465A1 (en) 2017-06-01
JP2019501428A (ja) 2019-01-17
CN107710159A (zh) 2018-02-16
JP2022153494A (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
CN107852339B (zh) 用于无损网络中的高效虚拟化的系统和方法
CN107852376B (zh) 用于支持高性能计算环境中跨虚拟路由器端口的smp连接性检查的路由器sma抽象的系统和方法
CN112565043B (zh) 用于支持高性能计算环境中的双端口虚拟路由器的系统和方法
US10841244B2 (en) System and method for supporting a scalable representation of link stability and availability in a high performance computing environment
CN107111513B (zh) 为高性能云计算环境提供InfiniBand SR-IOV vSWITCH体系架构的系统和方法
JP2023078206A (ja) 高性能コンピューティング環境での線形転送テーブル（ｌｆｔ）探索のためにグローバルルートヘッダ（ｇｒｈ）におけるサブネットプレフィックス値を用いるためのシステムおよび方法
CN108604199B (zh) 计算环境中支持快速混合重新配置的系统和方法、介质
JP2022003791A (ja) 高性能コンピューティング環境においてスケーラブルなビットマップに基づくＰ＿Ｋｅｙテーブルをサポートするためのシステムおよび方法
CN107852377B (zh) 用于在高性能计算环境中支持交换机端口状况的可伸缩表示的系统和方法
US20220174025A1 (en) System and method for supporting scalable bit map based p_key table in a high performance computing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant