CN103259735A - 一种基于NetFPGA的可编程虚拟化路由器的通信方法 - Google Patents

Abstract

本发明公开了一种基于NetFPGA的可编程虚拟化路由器的通信方法，包括步骤：在主机上安装虚拟化软件得到若干个虚拟容器，并在每个虚拟容器内部安装路由协议软件，得到虚拟路由器；在每个虚拟路由器内部创建与底层NetFPGA硬件网络接口个数相同的虚拟以太网卡；在虚拟以太网网卡和物理硬件网络接口之间设置软件网桥进行桥接，虚拟路由器依次通过虚拟以太网卡、软件网桥接收来自NetFPGA板卡网络接口的数据包，经过虚拟路由器的处理得到路由信息再通过虚拟以太网卡、软件网桥传输到NetFPGA的寄存器中，然后通过NetFPGA板卡网络接口与外界网络实现数据包的转发。通过软件网桥实现多个可编程虚拟化路由器的网络通信。

Description

一种基于NetFPGA的可编程虚拟化路由器的通信方法

技术领域

本发明涉及计算机网络虚拟化技术和可编程路由器技术领域，具体是一种基于NetFPGA的可编程虚拟化路由器的通信方法。

背景技术

以ARPANET为雏形、TCP/IP为协议栈的 Internet 发展至今已有40多年的历史，在此期间互联网发生了翻天覆地的变化。随着互联网商业应用规模的不断发展，其应用范围已经远远超过了互联网设计初衷，现有的TCP/IP体系结构无法解决互联网所面临的可扩展性、动态性和安全可控性等根本性问题，迫使人们重新考虑互联网的设计目标和理念，研究未来互联网的体系结构及其机理。

未来网络研究旨在从互联网的基本组成、工作原理和实现机理方面进行理论和方法探索和算法设计，解决现有网络在扩展性、安全性，高性能、实时性、移动性、管理性等方面的诸多不足。未来网络研究新的体系结构、协议、算法等在实际应用之前需要进行大量的理论分析与仿真实验，更需要在试验网络中进行评估与验证。

支持虚拟化的可编程路由器作为构建未来网络实验平台的核心设备，可在一个物理路由器上创建多个逻辑上独立的虚拟路由器，每个虚拟路由器都可以单独地运行各自的路由协议，并且都有自己专用的I/O端口、缓存、地址空间、路由表和网络管理软件等，并可以通过对路由器的配置和编程实现灵活的动态的部署新的路由协议，这样可以有效解决传统路由器部署协议难的问题。

采用网络虚拟化技术的可编程路由器可以构建出多个相互独立的虚拟网络，能够在一个物理网络上实现支持多个不同网络体系结构的并行实验验证，允许用户对其配置或编程，根据业务的特性提供功能扩展服务，既可以保证不破坏现有的网络结构又能够利用真实的网络流量验证算法和协议，从而满足物联网、云计算等新兴应用技术对未来互联网的需求。

现阶段可编程虚拟化路由器的研究采用数据平面和控制平面相分离的思想，其中数据平面主要实现数据包的接收分类和转发，控制平面主要完成路由器的虚拟化以及路由协议的部署、数据包处理与路由计算。引入虚拟化的可编程路由器技术难点在于多个虚拟路由如何共享底层物理硬件资源以及多个虚拟路由器如何实现与底层硬件进行通信，实现路由信息交互的问题。现阶段可编程虚拟化路由器大都处于理论研究分析阶段，并没有给出具体详细的可行性系统设计方案。

与本发明为同一申请人，专利申请号为201210547114.9的发明专利，基于NetFPFA的可编程路由器，提供了一种可编程路由器的设计框架和模块划分的思想。但是该专利没有涉及到网络虚拟化技术，只是单纯的可编程路由器，并非可编程虚拟化路由器。不具有多个虚拟路由器的并行运行特性，不能进行多种网络架构协议的并行实验验证。该专利通过通信控制模块中提供控制平面与转发平面的交互接口函数，实现数据平面与控制平面的通信。其中使用libpcap库捕获监听接收来之转发平面的数据，采用libnet来构造数据包进行发送。该专利采用映射转发表MFIT与注册数据包处理函数实现对新协议的扩展性。讲述了控制平面的管理模块，www模式模块以及CLI模式模块。没有讲到具体详细的转发平面通信细节实现。

与本发明为同一申请人，专利申请号为201210546866.3的发明专利，一种基于NetFPGA的可编程虚拟路由器内部通信方法，通过lipcap捕获进入Linux内核的NetFPGA数据包，通过函数分析，将数据包封装后送到相应的虚拟路由器。通过数据包封装模块，封装进入Linux内核的数据包，该专利使用TUN/TAP创建虚拟网络接口veth（virtual network interface），虚拟容器与主机操作系统以及外部主机的交互是通过虚拟网络设备venet（virtual network device）实现的。Venet设备不支持MAC地址，没有ARP协议的支持。数据包的接收和转发需要经过软件复杂的分析过程，严重减缓了数据传输的效率。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种数据传输效率大大提高基于NetFPGA的可编程虚拟化路由器的通信方法 。为达到上述目的，本发明的技术方案是：

一种基于NetFPGA的可编程虚拟化路由器的通信方法，其特征在于包括以下步骤：

A、在安装有Linux操作系统的主机上安装虚拟化软件OpenVZ，并在虚拟化软件上得到若干个虚拟容器，在每个虚拟容器内部安装路由协议软件Zebra或Quagga，得到虚拟路由器；

B、在每个虚拟路由器内部创建与底层硬件网络接口个数相同的虚拟以太网网卡veth；

C、在主机上开启Linux内核软件网桥模块802.1d Ethernet Bridging，并安装软件网桥命令行配置工具brctl-utils，创建与NetFPGA的物理网络接口个数对应的软件网桥，其中软件网桥为透明软件网桥；在虚拟以太网网卡和NetFPGA板卡网络接口之间设置软件网桥进行桥接，虚拟路由器依次通过虚拟以太网卡、软件网桥接收来自NetFPGA板卡网络接口的数据包，经过虚拟路由器的处理得到路由信息再通过虚拟以太网卡、软件网桥传输到NetFPGA的寄存器中，然后通过NetFPGA板卡网络接口与外界网络实现数据包的转发。  

进一步的，步骤A中的虚拟路由器，具有独立的root访问权限、IP地址、内存、处理器、应用程序、系统库和配置文件。

进一步的，步骤B中，虚拟以太网网卡veth包括位于虚拟路由器内部的虚拟网络接口ethx和位于物理主机端的虚拟物理主机以太网网卡vethx，且虚拟网络接口和虚拟物理主机以太网网卡端口对应连接进行数据通信。

进一步的，步骤C中的软件网桥之间具有避免产生环路的STP生成树协议，所述STP生成树协议采用IEEE 802.1D标准。  

本发明的优点及有益效果如下：

 采用专用网络可编程硬件NetFPGA板卡，NetFPGA板卡提供四个千兆速率的以太网网络接口，通过用户逻辑编程来实现高速的数据包的接收分类识别和转发。控制平面采用当前通用的计算机系统虚拟化技术来实现路由器的虚拟化，在每个虚拟路由器内部创建虚拟以太网卡，通过创建软件网桥将虚拟路由器的虚拟以太网卡和NetFPGA物理网络接口桥接起来，网络数据包通过软件网桥发送到各个相应的虚拟容器内部，数据经过虚拟容器处理后得到路由信息，再将路由信息下压到NetFPGA完成数据包的转发。

附图说明    

图1为可编程虚拟化路由器系统结构图；

图2为虚拟路由器内部功能结构图；

图3为虚拟化网络桥接原理图，其中CT101、CT102为OpenVZ虚拟容器；

图4为路由器系统网络桥接方案图；

图5为虚拟容器虚拟网络设备端口信息表，其中CTID为容器ID号；

图6 为软件网桥端口信息表；

图7 为虚拟容器端口桥接关系表；

图8为虚拟化路由器的数据包处理流程图；

图9为本发明基于NetFPGA的可编程虚拟化路由器的通信方法流程图。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。

如图1所示，为基于NetFPGA的可编程虚拟化路由器系统框架图，主要分为NetFPGA硬件设备层和Linux主机操作系统层，分别对应可编程虚拟化路由器的数据平面和控制平面，其中数据平面采用NetFPGA专用硬件板卡实现数据包的高速率接收和转发，控制平面实现路由器的虚拟化以及上层路由协议的部署和管理。图1-图9所示可以得出，

具体的实施步骤如下：

A、首先在主机上安装Linux操作系统CentOS 5.8，插上硬件板卡NetFPGA，安装NetFPGA驱动程序并配置NetFPGA的硬件开发环境，并在物理主机上安装操作系统级虚拟化软件OpenVZ，按照实际需要创建多个OpenVZ虚拟容器，紧接着配置各个虚拟容器Container的属性，分配容器号CTID、hostname、以及磁盘配额，最后启动虚拟容器；虚拟路由器内部功能结构如图2所示，在每个虚拟容器内部安装路由协议软件Zebra或Quagga，实现路由协议的部署，每个虚拟容器充当一个虚拟路由器，实现路由信息的计算和数据包的转发。

B、在每个OpenVZ虚拟容器内部创建与底层NetFPGA物理接口相同个数的虚拟以太网卡veth，每个虚拟以太网卡由两部分组成，一部分是处于虚拟容器内部ethx另外一部分处在物理主机端vethx，两部分是连接在一起的，并且将每个虚拟以太网卡veth的Mac地址均设置为FE:FF:FF:FF:FF:FF，将虚拟以太网卡veth设置为桥接混杂工作模式，并给容器内部的每个虚拟网络接口设备分配IP地址和MAC地址，虚拟容器的端口信息表如图5所示。

C、在本地主机上开启Linux内核软件网桥模块802.1d Ethernet Bridging，并安装软件网桥命令行配置工具brctl-utils，创建四个软件网桥br0、br1、br2、br3，将NetFPGA的四个物理网络接口nf2c0、nf2c1、nf2c2、nf2c3激活，IP地址全部为0.0.0.0，并设置为混杂模式添加到对应的各个软件网桥中，并将各个虚拟容器的虚拟以太网网卡添加到软件网桥中形成通路，具体的软件网桥系统链接方案图如图3所示。

D、配置软件网桥端口的各项参数，给四个软件网桥设置IP地址，使其分别处于不同的网段，并将nf2c0、nf2c1、nf2c2、nf2c3四个物理网卡的MAC地址对应的复制到br0、br1、br2、br3四个软件网桥，实现物理网卡与软件网桥的链接，并且可以通过IP地址实现软件网桥的远程管理和配置，具体的参数见图-5。

E、安装以太软件网桥防火墙工具ebtables，并配置软件网桥防火墙的相关过滤规则，对数据链路层数据包进行过滤，以此来提高网络的整体安全性能。设置软件网桥的属性Forward delay转发延时时间为零，提高软件网桥的数据包转发性能。

F、编写软件网桥的配置脚本，将其添加到开机启动项中，使其开机自启动，自动完成软件网桥的链接和配置属性。并在各个虚拟机内部创建虚拟网卡配置文件ifcfg-ethx，配置虚拟网卡的IP地址以及MAC地址选项，使这些配置参数永久存在，提高系统通信的稳定性。

其中，OpenVZ是基于容器的虚拟化技术，每个虚拟容器具有独立的root访问权限、IP地址、内存、处理器、应用程序、系统库和配置文件等，能够很好地实现虚拟路由器的安全隔离，并且不同的虚拟路由器可以独立的运行一种或者多种路由协议。

进一步的，在OpenVZ虚拟容器内部创建与底层NetFPGA硬件网络接口相同个数的虚拟以太网卡veth，每个虚拟以太网卡具有独立的MAC地址和IP地址，虚拟以太网网卡veth包括位于虚拟容器内部的ethx和位于物理主机端上的vethx，且ethx和vethx端口对应连接进行数据通信。

具体的，数据平面采用专用网络可编程硬件NetFPGA板卡，NetFPGA板卡提供四个千兆速率的以太网网络接口，通过用户逻辑编程来实现高速的数据包的接收分类识别和转发。控制平面采用当前通用的计算机系统虚拟化技术来实现路由器的虚拟化，在每个虚拟路由器内部创建虚拟以太网卡，通过创建软件网桥将虚拟路由器的虚拟以太网卡和NetFPGA物理网络接口桥接起来，网络数据包通过软件网桥发送到各个相应的虚拟容器内部，数据经过虚拟容器处理后得到路由信息，再将路由信息下压到NetFPGA完成数据包的转发。

进一步的，数据平面采用NetFPGA专用硬件平台来实现，NetFPGA开发平台包含了4个1Gbit/s的以太网接口，一个用户可编程的FPGA，以及两片SRAM和两片DRAM。NetFPGA通过PCI总线与主机CPU连接，提供了硬件加速的数据通道，分担CPU的处理任务。主机CPU按照DMA方式读写NetFPGA上的寄存器和存储器来配置NetFPGA的工作模式，并对NetFPGA的工作状态进行监控。NetFPGA平台能够很好地支持模块化设计，复杂的硬件设计可以通过各个模块的组合来完成，新设计的网络应用模块可以方便地添加到网络中进行测试，这样不仅简化了开发流程，而且也缩短了开发周期。

更进一步的，控制平面采用当前通用的计算机系统虚拟化技术中操作系统级虚拟化技术软件OpenVZ来实现路由器的虚拟化，OpenVZ是基于容器的虚拟化技术，创建的每个虚拟容器作为虚拟路由器，通过在虚拟容器内部安装路由软件（Zebra或Quagga）实现路由协议的部署，完成数据包的处理和路由计算（如图2所示）。

优选的，在每个虚拟容器内部创建与底层硬件NetFPGA网络接口相同个数的虚拟以太网网卡veth，作为每个虚拟路由器与外部网络通信的接口，将每个虚拟以太网网卡设置为桥接模式，MAC地址设置为固定的FE:FF:FF:FF:FF:FF，实现数据包的接收和转发。

优选的，主机操作系统采用CentOS 5.8，安装NetFPGA网卡驱动，配置系统环境使主机系统识别出NetFPGA网络接口nf2c0、nf2c1、nf2c2、nf2c3，并启用Linux内核软件网桥模块，使用软件网桥配置工具，桥接NetFPGA物理网络接口和每个虚拟容器的虚拟以太网接口veth，使得NetFPGA物理网络接口接收的网络数据包通过软件网桥，能够顺利到达各个虚拟容器，通过软件网桥实现虚拟容器与虚拟容器之间，虚拟容器与外部网络之间的通信。

另外，本文还提供了一种在可编程虚拟化路由器中使用网络桥接技术共享底层物理端口的方法，该方法包括：建立多个软件网桥，每个软件网桥与相应的物理网络端口相连接，并且每个软件网桥与相对应的虚拟路由器的虚拟以太网接口相连；虚拟路由器通过各自的虚拟以太网接口从一个或者多个软件网桥接收和发送数据信息；虚拟路由可通过软件网桥将所发送的数据信息发送到所述共享网络物理端口并且发送到所述共享网络端口的每个其他虚拟路由接口。

在本实施例中，采用Linux软件网桥实现NetFPGA物理网卡与虚拟容器内部的虚拟以太网卡桥接，通过MAC地址来转发数据帧，同时各个虚拟容器内部虚拟以太网卡具有各自独立的MAC地址和IP地址，不同容器之间的虚拟设备IP地址可以使用相同或者不同。

优选的，软件网桥为透明软件网桥，支持多种网络协议，且对高层协议完全透明，软件网桥通过对端口MAC地址的反相自学习，实现数据帧的转发。软件网桥之间具有避免产生环路的STP生成树协议，所述STP生成树协议采用IEEE 802.1D标准。

这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于NetFPGA的可编程虚拟化路由器的通信方法，其特征在于包括以下步骤：

A、在安装有Linux操作系统的主机上安装虚拟化软件OpenVZ，并在虚拟化软件上得到若干个虚拟容器，在每个虚拟容器内部安装路由协议软件Zebra或Quagga，得到虚拟路由器；

B、在每个虚拟路由器内部创建与底层硬件网络接口个数相同的虚拟以太网网卡veth；

C、在主机上开启Linux内核软件网桥模块802.1d Ethernet Bridging，并安装软件网桥命令行配置工具brctl-utils，创建与NetFPGA的物理网络接口个数对应的软件网桥，其中软件网桥为透明软件网桥；在虚拟以太网网卡和NetFPGA板卡网络接口之间设置软件网桥进行桥接，虚拟路由器依次通过虚拟以太网卡、软件网桥接收来自NetFPGA板卡网络接口的数据包，经过虚拟路由器的处理得到路由信息再通过虚拟以太网卡、软件网桥传输到NetFPGA的寄存器中，然后通过NetFPGA板卡网络接口与外界网络实现数据包的转发。  

2.根据权利要求1所述的基于NetFPGA的可编程虚拟化路由器的通信方法，其特征在于：步骤A中的虚拟路由器，具有独立的root访问权限、IP地址、内存、处理器、应用程序、系统库和配置文件。

3.根据权利要求1所述的基于NetFPGA的可编程虚拟化路由器的通信方法，其特征在于：步骤B中，虚拟以太网网卡veth包括位于虚拟路由器内部的虚拟网络接口ethx和位于物理主机端的虚拟物理主机以太网网卡vethx，且虚拟网络接口和虚拟物理主机以太网网卡端口对应连接进行数据通信。

4.根据权利要求1所述的基于NetFPGA的可编程虚拟化路由器的通信方法，其特征在于：步骤C中的软件网桥之间具有避免产生环路的STP生成树协议，所述STP生成树协议采用IEEE 802.1D标准。

Images