CN202535384U

CN202535384U - 基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统

Info

Publication number: CN202535384U
Application number: CN2012200899803U
Authority: CN
Inventors: 柳军胜
Original assignee: HANGZHOU HAILAI ELECTRONIC TECHNOLOGY Co Ltd
Current assignee: HANGZHOU HAILAI ELECTRONIC TECHNOLOGY Co Ltd
Priority date: 2012-03-12
Filing date: 2012-03-12
Publication date: 2012-11-14
Anticipated expiration: 2022-03-12

Abstract

本实用新型提供了一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，包括至少2个PCIe接口，所述PCIe接口通过至少2个PCIe交换机与至少2片现场可编程门阵列连接，所述现场可编程门阵列与以太网物理层芯片连接，所述以太网物理层芯片与网络接口陈列连接。本实用新型利用了PCI-E高性能特性、FPGA可编程性、PCI-E域交叉连接拓扑结构和虚拟机互联聚簇交换层，支持突破常规网络性能的高性能互连，不同主机间虚拟机连接允许的最高带宽超过了目前大型机系统标配的10G以太网性能。同时也能适应传统网络互接，充分考虑了虚拟机硬件虚拟的实现需求，支持IntelVt-d硬件虚拟技术，适应多虚拟机系统的互连应用。

Description

基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统

技术领域

本实用新型属于网络技术领域，具体是一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统。

背景技术

在现代计算环境中，为了提高服务器的使用效率，普遍在同一台服务器中使用多个虚拟机服务器，使服务器利用率从10%-15%提高到85%，大大降低的服务器数量，显著降低了成本。例如，SWsoft 的Virtuozzo 允许多达 80 台虚拟服务器在一台双向服务器上运行。目前规模化的网络接口都通过网络交换机和集线器实现，服务器中网络接口数量有限。但是目前的常规服务器提供2个千兆位网络接口，数量众多的虚拟机在同一台服务器中运行，需要确保每个虚拟服务器的网络连接的带宽和性能，共享2个千兆以太网接口难以保证各服务器的网络带宽需求。大型服务器中目前采用2个10G以太网接口，因为大型服务器中虚拟机应用数量相比常规服务器更加巨大，共享方式的网络接口仍然难以保证每个虚拟服务器网络带宽需求,而且效率不高。以上虚拟服务器共享网络一般是基于虚拟机软件实现的，虚拟机监控器为上层虚拟机提供虚拟网络设备，基于软件仿真网络设备的设备共享对系统整体性能产生负面影响，软件仿真的虚拟网卡传输性能只有真实硬件的十几分之一，类虚拟化下的虚拟网络设备性能较仿真设备稍好，也只达实际硬件性能的1/3，而且要牺牲大量CPU资源,不适合数量众多时的虚拟机使用。增加网络接口卡可以增加性能，但服务器中PCI-E插槽数量有限，而服务器中虚拟机数量众多,仅依靠增加有限数量的网络接口卡不能解决系统扩展需求。

实用新型内容

为了解决上述技术问题，本实用新型提供了一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统。

一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于其包括至少2个PCIe接口，所述PCIe接口通过至少2个PCIe交换机与至少2片现场可编程门阵列连接，所述现场可编程门阵列与以太网物理层芯片连接，所述以太网物理层芯片与网络接口陈列连接。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于每片现场可编程门阵列包括至少2个PCIe端点设备，每个PCIe端点设备连接至少2个逻辑设备。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于每个PCIe端点设备连接最多8个逻辑设备。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述现场可编程门阵列还包括虚拟机互联聚簇交换层以及以太网媒体访问控制模块，所述PCIe端点设备通过虚拟机互联聚簇交换层与以太网媒体访问控制模块连接。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于PCIe交换机与PCIe端点设备连接，以太网媒体访问控制模块与以太网物理层芯片连接。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于PCIe接口通过PCIe交换机分别与不同现场可编程门阵列的PCIe端点设备连接，形成交叉拓扑结构。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的逻辑设备内包括中断和DMA传输控制模块、TX 共享缓冲区指针寄存器、RX 共享缓冲区指针寄存器、IP和以太网地址寄存器，并通过TX FIFO与RX FIFO与虚拟机互联聚簇交换层连接。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的虚拟机互联聚簇交换层由交换节点相互交叉连接，每个交换节点分别与其它各个交换节点连接。

所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的交换节点包括相互连接的FIFO 接口、路由控制单元、EMAC控制和接口以及交换FIFO控制和接口。

本实用新型的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，利用了PCI-E高性能特性、FPGA可编程性、PCI-E域交叉连接拓扑结构和虚拟机互联聚簇交换层，支持突破常规网络性能的高性能互连，不同主机间虚拟机连接允许的最高带宽超过了目前大型机系统标配的10G以太网性能。同时也能适应传统网络互接，充分考虑了虚拟机硬件虚拟的实现需求，支持Intel Vt-d硬件虚拟技术，适应多虚拟机系统的互连应用。

附图说明

图1是本实用新型的网络接口扩展连接系统框图；

图2是本实用新型的网络逻辑设备结构示意图；

图3是本实用新型的交换节点结构示意图；

图4是本实用新型的虚拟机互联聚簇交换层的交换结构示意图；

图5是本实用新型的交换节点互连逻辑示意图。

图中，1—PCIe Host A接口；2—PCIe Host B接口；3—PCIe Switch A；4—PCIe Switch B；5—FPGA A；6—FPGA B；7—PCIe端点设备；8—逻辑设备；9—虚拟机互联聚簇交换层；10—EMAC；11—Phy；12—网络接口陈列；13—中断和DMA传输控制模块；14—TX 共享缓冲区指针寄存器；15—RX 共享缓冲区指针寄存器；16—IP和以太网地址寄存器；17—PCIe core；18—PCIe core接口模块；19—TX FIFO；20—RX FIFO；21—FIFO接口；22—路由控制单元；23—EMAC控制和接口；24—交换FIFO控制和接口；25—交换节点。

具体实施方式

下面对本实用新型进行详细说明。

本实用新型的系统，一般使用服务器中带宽性能最高的PCIe接口槽作为扩展接口。使用服务器内的PCIe X16扩展口，PCIe X16性能和连接数量计算方法如下：

PCIe G1/G2 采用8b/10b编码，传输效率80%。

PCIe G3 采用128b/130b编码，传输效率98.5%

根据上述计算，我们可以保守估算PCIe X16扩展1Gbps/s以太网接口的数量，在最低端PCIe Gen1.1规范最大扩展32个1Gbps的网络接口，PCIe Gen2.0规范最大扩展64个1Gbps网络接口，PCIe Gen3.0规范最大扩展126个1Gbps网络接口。

PCIe Switch芯片下行端口通道数和性能计算方法：

本方法使用PCIe Switch扩展PCIe接口，弥补服务PCIe接口数量不足。样例：PCIe交换芯片选用上行端口为PCIe X16,下行端口根据需要设计和连接，其方法如下表所示：

Figure 2012200899803100002DEST_PATH_IMAGE004

FPGA PCIe端点实现多功能网络设备接口，其方法如下表所示：

Figure 2012200899803100002DEST_PATH_IMAGE006

方法中使用FPGA实现PCIe网络设备扩展。样例：使用最新28 nm FPGA中PCIe多功能端点实现网络设备扩展。

本实用新型的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，使用服务器系统PCIe X16接口，通过PCIe线缆连接到PCIe交换机扩展连接总线，通过多个上行PCIe电缆接口和多片PCIe交换机芯片连接到多个服务器系统。本系统使用FPGA（现场可编程门阵列）扩展PCIe端点多功能网络设备，使用多片FPGA，并且每片FPGA多个PCIe端点，每端点最多8个多功能逻辑网络设备，逻辑网络设备共享PCIe端点链路带宽。分属不同主机PCIe域的PCIe交换机和FPGA PCIe端点交叉连接，使不同服务器PCIe设备连接到同一个FPGA内。在FPGA内实现虚拟机互连聚簇交换层，使得相同服务器内的不同虚拟机之间，以及使用上述交叉拓扑结构PCIe互连的不同服务器中的虚拟机之间的网络通讯不再通过外部交换机，采用PCIe设备间直接内存数据存取（DMA）。在FPGA内实现网络MAC和网络接口，根据需要可选用10/100/1000M以太网Mac,也可选用10G以太网Mac，利用FPGA可编程特性灵活使用。FPGA网络接口连接到网络物理层芯片，建议外部同时连接有10/100/1000M网络物理层芯片阵列和10G以太网物理层芯片，这样硬件接口固定，FPGA内部使用灵活，充分利用FPGA编程特性。物理层芯片连接到外部网络接口,外部网络连接通过传统网络交换机连接外部网络。本系统中的FPGA器件是可编程的，在外围电路不变的情况下，通过在系统下载配置，改变内部电路配置，适应各种应用需求。需要高性能互连的应用中，我们可以通过下载事先设计好的设置适应各种应用和性能需求。增加FPGA数量或增加每个端点L逻辑设备数量，网络连接数量增加，但相对分配到的带宽下降，减少每个端点的逻辑设备数量，可使的PCIe端点的逻辑设备数据吞吐量增加,从而在同一服务器和本方法PCI-E互连服务器之间的逻辑设备间，通过虚拟机互联聚簇交换层的数据速率突破网络速率的限制，成为高带宽数据通道。例如：在PCIe Gen2 X16接口理论传输带宽64Gbps/s,通过PCIe Switch分成4个下行端口，每个下行端口是PCIe Gen2 X4，链路带宽是20Gbps/s,理论数据带宽是16Gbps/s，PCIe X4链路连接到FPGA PCIe设备端点，如果我们设置成1个逻辑设备，那么这个逻辑设备理论带宽是16Gbps/s，根据我们在实际应用中测试的结果，PCIe设备效率在65%左右，这个逻辑设备实际有效负荷传输带宽是10.4Gbps/s,超过了目前大型机系统的10G以太网连接速度（考虑以太网效率实际传输达不到10Gbps/s）, 如果选用最新的PCIe Gen3本方法的有效负荷互连性能将达20Gbps/s的性能，这样的数据吞吐量在虚拟机互联聚簇交换层在DMA控制器控制下在同一服务器的虚拟机之间，在本方法连接不同服务器之间传输成为高性能大吞吐量的数据通道，完全突破了网络设备对性能的限制。本系统发挥不同服务器双机交互连接，还需要在虚拟机网卡设置和绑定上配合做优化设置，一台虚拟服务器配置并绑定双网卡或多网卡，使得多块PCIe网络设备处于不同的FPGA上,这样在本方法的结构中能够通过高速交换通道访问到多台服务器内的所有虚拟机。

如图1所示，以2个PCIe接口PCIe HostA和PCIe HostB为例，PCIe接口为PCIe X16扩展电缆接口，PCIe Switch的数量应根据需要实现足够数量的PCIe下行连接数量,图中以2片示例。图中当前每片FPGA内最多4个PCIE 端点设备，应根据扩展需要将多片并接连接到PCIe Switch下行端口上，其内部和网络扩展部分相同，图中以2片FPGA示例。PCIe Switch 和FPGA PCIe端点设备之间交叉连接，不同主机的PCIe总线联入同一片FPGA中，实现不同服务器之间虚拟机聚簇互连。

如图2所示，PCIe端点设备和FPGA内PCIe core对应。每个PCIe端点设备最大可实现8个相互独立的逻辑设备，8个逻辑设备共享一个PCIe端点链路和带宽，在使用中可设置网卡应用或虚拟机绑定的数量，控制传输带宽，当一个逻辑设备独享PCIe端点链路时具有最大的带宽。每个逻辑设备设计为一个独立网卡的PCIe设备接口部分，实现PCIe设备接口、数据的传输控制和中断控制。其主要的内部功能结构如下：逻辑设备中维护TX 共享缓冲区指针寄存器和RX共享缓冲区指针寄存器，为软件驱动在初始化设备时分配写入的非分页物理地址连续的物理地址，在支持VT-D的上层软件和硬件系统支持下，这两个共享地址为虚拟机直接分配物理I/O设备的共享缓冲区物理地址，IP地址寄存器为驱动在网络设置后写入的IP地址，用于虚拟机互连聚簇交换层控制路由。中断和DMA传输控制模块在接收到驱动传输命令时启动TX DMA传输，当RX FIFO中有一个包或以上的数据时启动RX DMA传输，DMA传输在共享缓冲区和TX FIFO或RX FIFO之间进行。在接收到完整的网络数据包时生成中断信号。TX FIFO和RX FIFO完成数据读写通道功能，在本方法中连接到虚拟机互联聚簇交换层。在不开源的VmWare虚拟机环境中，选用Bridge方式，虚拟机系统在宿主机系统驱动上增加一个过滤驱动，通过提供宿主机系统的驱动程序，上述共享缓冲模式交换数据的模式可以适应和支持。在开源的XEN虚拟机系统中，虚拟机系统软件通过直接在物理硬件上进行设备虚拟，并将虚拟产生的PCIe设备直接赋给客户虚拟机，因为XEN是开源系统，可以通过提供相应的驱动，保证虚拟机分配的硬件缓冲区指针影射到真实的宿主机系统物理地址上，从而实现对VT-d技术的支持。

虚拟机互联聚簇交换层是实现本地虚拟机和PCIe连接虚拟机实现高速数据通道的核心技术，实现虚拟机之间交换互连，和逻辑设备配合采用直接内存访问方法提供高性能传输和互连。如图3所示，其中FIFO接口连接逻辑设备，EMAC控制和接口连接EMAC，交换FIFO控制和接口连接交换层,路由控制单元根据网络数据包头中目标地址和各逻辑设备中的IP和以太网地址寄存器中地址的比对，生成本地或外部路由控制。虚拟互连聚簇交换层是由交换节点连接的全交换结构，节点结构如图3所示，交换结构如图4所示，以5个交换节点为例。

在交换节点互连逻辑中实现了FIFO信号的对接，多路FIFO信号的仲裁功能，互连逻辑电路对TX队列进行仲裁和控制使得获取控制权的发送单元传送网络数据包到目标节点队列,仲裁逻辑采用轮转策略使所有接入节点拥有同等优先权，示意结构如图5所示。

EMAC为以太网媒体访问控制模块，每个逻辑设备连接一个以太网媒体访问控制模块。

Phy为以太网物理层芯片,每个以太网媒体访问控制模块连接一片以太网物理层芯片。

网络接口阵列为网络接口，具体形式为：RJ45接口或SFP光口。

通过上述硬件连接扩展，在FPGA设备内实现了网络接口设备阵列并连接到外部网络接口上，当设备连接到服务器系统以后，服务器对每个逻辑网络设备都识别为一块独立的网卡设备，所有设备安装相同的设备驱动程序，在系统设备枚举以后，所有网络设备在操作系统中生成设备对象，操作系统虚拟机软件，可以按需要绑定网络设备，实现物理硬件的设备虚拟。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均包含在本实用新型的保护范围之内。

Claims

1.一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于其包括至少2个PCIe接口，所述PCIe接口通过至少2个PCIe交换机与至少2片现场可编程门阵列连接，所述现场可编程门阵列与以太网物理层芯片连接，所述以太网物理层芯片与网络接口陈列连接。

2.如权利要求1所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于每片现场可编程门阵列包括至少2个PCIe端点设备，每个PCIe端点设备连接至少2个逻辑设备。

3.如权利要求2所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于每个PCIe端点设备连接最多8个逻辑设备。

4.如权利要求2所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述现场可编程门阵列还包括虚拟机互联聚簇交换层以及以太网媒体访问控制模块，所述PCIe端点设备通过虚拟机互联聚簇交换层与以太网媒体访问控制模块连接。

5.如权利要求4所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于PCIe交换机与PCIe端点设备连接，以太网媒体访问控制模块与以太网物理层芯片连接。

6.如权利要求5所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于PCIe接口通过PCIe交换机分别与不同现场可编程门阵列的PCIe端点设备连接，形成交叉拓扑结构。

7.如权利要求2所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的逻辑设备内包括中断和DMA传输控制模块、TX 共享缓冲区指针寄存器、RX 共享缓冲区指针寄存器、IP和以太网地址寄存器，并通过TX FIFO与RX FIFO与虚拟机互联聚簇交换层连接。

8.如权利要求4所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的虚拟机互联聚簇交换层由交换节点相互交叉连接，每个交换节点分别与其它各个交换节点连接。

9.如权利要求8所述的一种基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统，其特征在于所述的交换节点包括相互连接的FIFO 接口、路由控制单元、EMAC控制和接口以及交换FIFO控制和接口。