CN113472624A - 一种基于vDPA实现虚拟网络数据包转发的方法及应用 - Google Patents

Abstract

本发明公开了一种基于vDPA实现虚拟网络数据包转发的方法及应用。该方法中，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。本发明使得虚拟机与硬件之间可以直接进行数据包转发，减少了数据包在用户态和内核态中转发带来的开销，提升了虚拟网络中数据包的转发性能。

Description

一种基于vDPA实现虚拟网络数据包转发的方法及应用

技术领域

本发明属于云计算虚拟网络技术领域，更具体地，涉及一种基于vDPA实现虚拟网络数据包转发的方法及应用。

背景技术

在云平台中，通常使用DPDK数据平面开发工具集与OVS虚拟交换机相结合，对虚拟网络转发性能进行优化。目前主要采用virtio半虚拟化架构，在虚拟机操作系统中用virtio实现前端驱动程序，在宿主机中用用户态vhost-user实现后端驱动程序，来完成虚拟机和宿主机之间的数据收发过程。

这是目前虚拟网络中常见对数据包转发过程的优化技术，同时业界也存在对虚拟网络转发性能的一些优化方法。例如现有技术1中，利用网卡接收数据包，并上传到Datapath，通过Datapath在缓存中检测数据包的相关记录，若通过Datapath在缓存中没有检测到相关记录，利用DPDK将数据包发送至虚拟交换机的用户空间的vswitchd，vswitchd搜索数据包的目的端口并获取数据包的转发规则，将数据包按照转发规则转发至相应虚拟机，从而提升虚拟交换机的实时性。现有技术2中，通过分别对云节点、虚拟交换机和云主机中的参数进行配置，实现了云节点的网卡队列，云节点的轮询线程，虚拟交换机的DPDK端口队列，虚拟交换机的vhost端口队列，云主机的网卡队列，云主机的负载均衡服务进程一一对应，从而使得数据包可以在云节点的内核层与云主机的负载均衡服务进程之间直接共享，同时轮询线程与cpu绑定以及轮询线程的主动轮询机制，消除了锁和cpu上下文切换，从而实现高性能的云负载均衡。现有技术3中，针对虚拟网络带宽与实际物理网络相同但转发效率低问题，通过DPDK插件快速处理数据包，解决了虚拟网络交换机工作时内存需要受操作系统的管理、容易受到操作系统中断及永和空间切换影响的问题，节省了CPU中断时间又省去了内存拷贝时间，极大提高了网络IO的吞吐量。

然而，这些现有技术中，I/O虚拟化是在消耗CPU资源的基础上进行实现的，virtio作为最常用的I/O虚拟化接口，每个数据包的收发都会增加CPU的开销。随着软件定义网络和网络功能虚拟化应用范围越来越广，现有的虚拟网络中的virtio硬件加速只能提供虚拟化功能的底层接口，不能完成对所有功能的虚拟化，这就成为进一步优化转发性能的瓶颈。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于vDPA实现虚拟网络数据包转发的方法及应用，减少了数据包在用户态和内核态中转发带来的开销，提升了虚拟网络中数据包的转发性能。

为实现上述目的，按照本发明的第一方面，提供了一种基于vDPA实现虚拟网络数据包转发的方法，该方法使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

优选的，包括步骤：

搭建基于vDPA组件及vDPA驱动的虚拟系统，该虚拟系统包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。

优选的，还包括步骤：对搭建的虚拟系统进行软件配置，以在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通。

优选的，所述软件配置具体包括步骤：

对网卡硬件设备进行初始化，将网卡硬件设备关联的vDPA-ops函数注册到网卡硬件设备上；

在vDPA框架中调用命令将vhost和网卡硬件设备关联起来；

在vhost-user中使用vDPA框架中的设备回调函数，对rte_vdpa_dev_ops结构体进行设置来实现虚拟机和网卡硬件设备的数据路径直通。

优选的，所述vDPA-ops函数是structrte_vdpa_dev_ops结构。

优选的，所述在vDPA框架中调用命令将vhost和网卡硬件设备关联起来包括步骤：在start_vdpa函数中将vDPA驱动与vhost-user socket结构进行连接，其中rte_vhost_driver_attach_vdpa_device函数将网卡硬件设备的ID记录在vsocket结构中。

按照本发明的第二方面，提供了一种基于vDPA实现虚拟网络数据包转发的系统，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

优选的，包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。

按照本发明的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法。

按照本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。

总体而言，本发明与现有技术相比，使得虚拟机与硬件之间可以直接进行数据包转发，减少了数据包在用户态和内核态中转发带来的开销，提升了虚拟网络中数据包的转发性能。

附图说明

图1是本发明实施例的虚拟系统及数据包转发原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的一种基于vDPA实现虚拟网络数据包转发的方法，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

本方法使得虚拟机与硬件之间可以直接进行数据包转发，减少了数据包在用户态和内核态中转发带来的开销，提升了虚拟网络中数据包的转发性能。

DPDK(Data Plane Development Kit)是主要用于快速数据包处理的函数库与驱动集合，DPDK使用了轮询(polling)而不是中断来处理数据包。在收到数据包时，经DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理，这样节省了大量的CPU中断时间和内存拷贝时间。

vDPA(vhost Data Path Acceleration)是DPDK中的组件，用于实现虚拟数据路径加速，主要目的是标准化网卡的SRIOV(Single Root I/OVirtualization)数据通路，让SRIOV的虚拟功能可以支持virtio ring的layout，并且在Guest的空间可以使用标准的virtio驱动。

DPDK中增添了两个新的虚拟网络模块来实现vDPA组件的功能，一个是vDPA驱动程序，用于控制vDPA硬件设备的用户空间驱动程序，一个是vDPA框架，它在vhost-usersocket和vDPA驱动程序之间提供了桥梁。

vDPA组件主要基于mdev(mediator device)框架进行实现，mdev在网卡私有控制和virtio之间提供桥梁。mdev可以实现设备的仿真(软件虚拟化)和设备的中介(软件和硬件虚拟化)，它在一个物理设备上虚拟出多个虚拟设备。vDPA在数据路径上全部使用硬件设备，在控制路径上使用mdev机制进行设备仿真。

vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。VFIO是一个可以安全的把设备I/O、中断、DMA等暴露到用户空间(userspace)，从而可以在用户空间完成设备驱动的框架。用户空间直接设备访问，虚拟机设备分配可以获得更高的IO性能。virtio-mdev的主要目的是提供给不同的vDPA网卡厂家一个标准的API来实现他们自己的控制路径。将vDPA驱动与vhost-user相关联，vhost-user中的消息处理就可以找到对应的vDPA设备，进而找到厂商关联的vDPA ops函数。

本发明实施例在使用vDPA组件及驱动程序，在virtio数据平面上实现了虚拟机和网卡硬件设备的数据路径直通，网卡中接收到数据包后可以直接发送给虚拟机中用户态程序进行处理，而virtio控制平面中仍使用原有的virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动程序传递到硬件中，从而完成数据平面的配置。

进一步地，基于vDPA实现虚拟网络数据转发的方法，包括步骤：

S1，搭建基于vDPA组件及vDPA驱动的虚拟系统，该虚拟系统包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。具体的虚拟系统和数据包转发原理如图1所示。

在现有的虚拟网络转发流程中，数据包从OVS连接的某个网络端口传输到ovs-vswitchd，OVS从数据包中提取关键信息，然后OVS在用户态查看精确流表和模糊流表，将数据包与流表进行匹配，若匹配成功，直接转发到下一步，若没有匹配则传送给SDN控制器进行处理。

在本发明基于vDPA的优化方案中，总体的设计思想是在virtio数据平面中将虚拟机与服务器之间的数据路径进行加速，保持原有的virtio标准化接口基础上，对数据路径进行了设计，虚拟机与服务器之间数据包传输路线绕过内核空间，实现用户空间和硬件模块的直接通信。控制平面中设计在虚拟机的用户空间和vDPA驱动程序之间实现virtio控制平面接口，这样就能减少数据包转发过程中由于主机干预带来的开销，优化了虚拟网络中数据包的转发流程。同时，由于设计在基于vDPA转发方案中的数据平面和控制平面都设计了使用virtio标准化接口，可以设计虚拟机在不同场景中进行实时迁移，满足不同网络中对虚拟机的需求，降低网络转发成本，提高项目开发效率。

S2，对搭建的虚拟系统进行软件配置，以在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通。

进一步地，步骤S2包括子步骤：

S21，首先实现vDPA设备的初始化，将Mellanox的mlx5_vdpa_ops注册到的vDPA设备上，其实mlx5_vdpa_ops函数是一个structrte_vdpa_dev_ops结构，在vhost-user处理后端消息时会调用对应的vDPA处理函数。

S22，然后在vDPA框架中调用命令，在start_vdpa函数中将vDPA驱动与vhost-usersocket结构进行连接，其中rte_vhost_driver_attach_vdpa_device函数将vDPA的deviceid记录在vsocket结构中，这样就将vhost和vDPA设备关联起来了。

S23，最后在vhost-user中使用vDPA框架中的设备回调函数，对rte_vdpa_dev_ops结构体进行设置来实现数据路径。这样配置后，数据平面就完全避免了主机的干预控制，实现虚拟机和网卡的直通，提高了虚拟网络的数据包转发性能。

本发明实施例的一种基于vDPA实现虚拟网络数据包转发的系统，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

进一步地，该系统包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。

系统的实现原理、技术效果与上述方法类似，此处不再赘述。

本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行实施例一中基于vDPA实现虚拟网络数据包转发的方法的步骤，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一基于vDPA实现虚拟网络数据包转发的方法的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于vDPA实现虚拟网络数据包转发的方法，其特征在于，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

2.如权利要求1所述的一种基于vDPA实现虚拟网络数据转发的方法，其特征在于，包括步骤：

搭建基于vDPA组件及vDPA驱动的虚拟系统，该虚拟系统包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。

3.如权利要求2所述的一种基于vDPA实现虚拟网络数据转发的方法，其特征在于，还包括步骤：对搭建的虚拟系统进行软件配置，以在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通。

4.如权利要求3所述的一种基于vDPA实现虚拟网络数据转发的方法，其特征在于，所述软件配置具体包括步骤：

对网卡硬件设备进行初始化，将网卡硬件设备关联的vDPA-ops函数注册到网卡硬件设备上；

在vDPA框架中调用命令将vhost和网卡硬件设备关联起来；

在vhost-user中使用vDPA框架中的设备回调函数，对rte_vdpa_dev_ops结构体进行设置来实现虚拟机和网卡硬件设备的数据路径直通。

5.如权利要求4所述的一种基于vDPA实现虚拟网络数据转发的方法，其特征在于，所述vDPA-ops函数是structrte_vdpa_dev_ops结构。

6.如权利要求4所述的一种基于vDPA实现虚拟网络数据转发的方法，其特征在于，所述在vDPA框架中调用命令将vhost和网卡硬件设备关联起来包括步骤：在start_vdpa函数中将vDPA驱动与vhost-user socket结构进行连接，其中rte_vhost_driver_attach_vdpa_device函数将网卡硬件设备的ID记录在vsocket结构中。

7.一种基于vDPA实现虚拟网络数据包转发的系统，其特征在于，使用vDPA组件及vDPA驱动，在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通，使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理，在virtio控制平面中使用virtio控制平面协议作为接口，控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中，从而完成数据平面的配置。

8.如权利要求7所述的一种基于vDPA实现虚拟网络数据包转发的系统，其特征在于，包括用户空间、内核空间和网卡硬件设备，在内核空间部署vDPA驱动，vDPA驱动在用户态中与VFIO框架结合，在内核态中与virtio结合，完成virtio-mdev中接口的连接配置。

9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

Images