CN114095251A - 一种基于dpdk与vpp的sslvpn实现方法 - Google Patents

Abstract

本发明公开了一种基于DPDK与VPP的SSLVPN实现方法，包括构建DPDK零拷贝运行环境；对内存进行预分配，获得系统达到最大并发时所需的内存块，内存块内存储有网络数据包；设置CPU核与多队列网卡间的调度策略，调度策略按流分配，根据网络数据包的特征信息识别出会话数据流，保证同一会话数据流被分配到同一队列网卡的接收队列、CPU核和工作线程；利用独立的工作线程处理独立队列网卡内的数据接收、处理和转发，独立的工作线程是基于VPP创建的，所有工作线程对网络数据包的处理均在VPP用户态协议栈完成。本发明充分发挥了多核处理器的性能优势，基于DPDK零拷贝技术和VPP用户态协议栈，利用并行处理技术，满足高速网络环境下的SSL连接实时处理。

Description

一种基于DPDK与VPP的SSLVPN实现方法

技术领域

本发明具体涉及一种基于DPDK与VPP的SSLVPN实现方法。

背景技术

随着网络通信技术的发展，5G、泛在物联网的推广建设，以及业务使用量的指数级增长，满足几十万至几百万级别的泛在物联网感知层终端安全、可信实时接入电力信息网络，对SSLVPN网关类网络安全产品的性能提出了新的挑战。传统的SSLVPN实现方法存在以下缺陷：

局部性失效。一个SSL数据包的处理可能跨多个CPU核心、缓存失效、NUMA不友好。一个SSL数据包可能中断在CPU0，内核态处理在CPU1，用户态处理在CPU2，这样跨越多个核心，造成局部性失效，CPU缓存失效，同时可能存在跨NUMA访问内存，性能受到很大影响。

硬件中断、软中断、上下文切换开销大。当网络中数据量很大时，大量的数据包产生频繁的硬件中断请求，这些硬件中断可以打断之前较低优先级的软中断或者系统调用的执行过程，如果这种打断频繁进行的话，将产生较高的性能开销。用户态内核态的上下文切换和软中断都增加了额外的开销。

内核态和用户态之间的内存拷贝开销。网络数据包从网卡到应用程序需要经过如下的过程：数据从网卡通过DMA等方式传到内核开辟的缓冲区；数据从内核空间复制到用户态空间。在Linux内核协议栈中，这个耗时甚至占到了数据包整个处理流程的一半。

可见，传统的SSLVPN实现方法在高速网络环境下面临着丢包率高、延时大、系统负载高等问题，无法满足高速网络环境下的SSL(Secure Sockets Layer)连接实时处理。

发明内容

针对上述问题，本发明提出一种基于DPDK与VPP的SSLVPN实现方法，充分发挥了多核处理器的性能优势，基于DPDK零拷贝技术和VPP用户态协议栈，利用并行处理技术，满足了高速网络环境下的SSL(Secure Sockets Layer)连接实时处理。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于DPDK与VPP的SSLVPN实现方法，包括：

构建DPDK零拷贝运行环境；

对内存进行预分配，获得系统达到最大并发时所需的内存块，所述内存块内存储有该内存块自身的状态、特性信息，以及网络数据包；

设置CPU核与多队列网卡间的调度策略，所述调度策略按流分配，根据网络数据包的特征信息识别出会话数据流，保证同一会话数据流被分配到同一队列网卡的接收队列、CPU核和工作线程；

利用独立的工作线程处理独立队列网卡内的数据接收、处理和转发，所述独立的工作线程是基于VPP创建的，所有工作线程对网络数据包的处理均在VPP用户态协议栈完成，不经过Linux内核协议栈。

可选地，所述DPDK零拷贝运行环境的构建方法包括：

所述CPU核为Intel处理器，所述队列网卡为Intel网卡，所述系统为Linux系统；

加载Linux系统的UIO驱动框架模块，以及Intel网卡的UIO内核驱动模块，所述UIO驱动框架模块和UIO内核驱动模块均采用Poll模式来获取网络数据包；

将所用到物理网卡分别从Linux系统中的Linux网卡驱动解除绑定，并绑定到Intel网卡的UIO内核驱动模块；

设置huge page内存。

可选地，所述内存块的获取方法包括：

在huge page内存上创建一批预设大小的内存块，各内存块的部分空间用于存储该内存块自身的状态、特性信息，其他空间用于存储网络数据包；各内存快在SSLVPN实现方法启动的时候创建，SSLVPN实现方法运行过程中不进行内存的分配和释放操作。

可选地，所述huge page内存的页面大小默认设置为2MB，总大小设置为6GB以上。

可选地，各内存块的大小为2KB。

可选地，各队列网卡提供RSS功能支持，通过对多队列网卡的相关寄存器进行设置，并通过对RSS算法修改，保证不同方向的同一会话数据流被分配到同一队列网卡的接收队列。

可选地，所述利用独立的工作线程处理独立队列网卡内的数据处理，具体为：

利用独立的工作线程处理SSL协议报文，包括SSL认证握手、密钥交换、数据加密及数据解密。

可选地，所述特征信息包括源地址、目的地址、源端口、目的端口及传输协议。

可选地，所述工作线程与CPU核一对一绑定，一工作线程只在指定的CPU核上运行，不会迁移到其他CPU核；被绑定的CPU核只运行绑定的工作线程，不参与Linux进程调度。

可选地，所述SSLVPN实现方法还包括：

将每个工作线程对应一个独立的加密卡dma通道，用于确保加密卡dma通道的写返回数据一定是对应的读操作的工作线程。

与现有技术相比，本发明的有益效果：

本发明的基于DPDK和VPP的SSLVPN实现方法，对网络数据包在整个收发、处理路径上进行完全的并行化，通过队列网卡的硬件RSS相关寄存器实现对收到的数据包按照一定的规则分流、分类，CPU核与队列网卡、工作线程进行绑定，每个工作线程处理独立队列网卡内的数据处理和转发，旁路Linux协议栈，所有的处理都在用户层完成，在用户态协议栈中完成对数据包的接收、加/解密和发送。

本发明中采用多个加密卡并行调度的设计，每个工作线程对应一个独立的加密卡dma通道，保证该通道的写返回数据一定是对应的读操作的工作线程，实现多核多线程对网络数据包的高效、并行处理，充分发挥出多核处理器硬件的优势。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明一种实施例的基于DPDK与VPP的SSLVPN实现方法的应用示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

DPDK(Data Plane Development Kit)是Intel公司提出的一种高速网络数据包的软件开发套件。前期主要支持采用Intel CPU及网卡的系统，现已支持IBM Power、ARM等其他CPU，以及部分非Intel的网卡。DPDK通过旁路Linux系统网络协议栈，直接对网卡进行读写，结合对多核CPU中不同内核的绑定，能够实现1Gbit网络小包流量下的线速收发。VPP由思科公司提出，现已成为Linux基金会开源项目FD.IO的重要组件。在报文处理性能上，VPP基于DPDK用户态转发驱动，采用矢量包处理技术，可以大幅降低数据平面处理数据包的开销；同时，VPP基于模块化的设计架构非常灵活，新的SSLVPN的添加逻辑与原有数据包处理流程完全解耦，基于VPP开发的SSLVPN可以非常方便的接入到VPP框架的处理流程中去。为此，本发明提出基于DPDK和VPP的SSLVPN实现方法，对网络数据包在整个收发、处理路径上进行完全的并行化，通过队列网卡的硬件RSS相关寄存器实现对收到的数据包按照一定的规则分流、分类，CPU核与队列网卡、工作线程进行绑定，每个工作线程处理独立队列网卡内的数据处理和转发，旁路Linux协议栈，所有的处理都在用户层完成，在用户态协议栈中完成对数据包的接收、加/解密和发送。

本发明中提供了一种基于DPDK与VPP的SSLVPN实现方法，包括以下步骤：

步骤(1)构建DPDK零拷贝运行环境，减少网络数据包在系统的内核协议栈和用户层应用程序之间的拷贝次数；

步骤(2)对内存进行预分配，获得系统达到最大并发时所需的内存块，所述内存块内存储有该内存块自身的状态、特性信息，以及网络数据包；

步骤(3)设置CPU核与多队列网卡间的调度策略，所述调度策略按流分配，根据网络数据包的特征信息识别出会话数据流，保证同一会话数据流被分配到同一队列网卡的接收队列、CPU核和工作线程，实现多核多线程对网络数据包的高效、并行处理，充分发挥出多核处理器硬件的优势；在具体实施过程中，所述特征信息可以设置为包括源地址、目的地址、源端口、目的端口及传输协议等；本发明实施例中的调度策略为硬件调度策略。各队列网卡提供RSS功能支持，通过对多队列网卡的相关寄存器进行设置，并通过对RSS算法修改，保证不同方向的同一会话数据流被分配到同一队列网卡的接收队列，实现网络数据包硬件分配。

步骤(4)利用独立的工作线程处理独立队列网卡内的数据接收、处理和转发，所述独立的工作线程是基于VPP创建的，所有工作线程对网络数据包的处理均在VPP用户态协议栈完成，不经过Linux内核协议栈，实现同一数据流包的处理均在同一个工作线程中完成，多个工作线程并行处理，互不干扰。

在本发明实施例的一种具体实施方式中，所述DPDK零拷贝运行环境的构建方法包括以下子步骤：

(1.1)选择Intel处理器作为CPU核，Intel网卡作为队列网卡，所述系统为Linux系统，Linux内核版本为4.15.0及以上；

(1.2)加载Linux系统的UIO驱动框架模块，以及Intel网卡的UIO内核驱动模块，所述UIO驱动框架模块和UIO内核驱动模块均采用Poll模式来获取网络数据包；

(1.3)将所用到物理网卡分别从Linux系统中的Linux网卡驱动解除绑定，并绑定到Intel网卡的UIO内核驱动模块；

(1.4)设置huge page内存，在具体实施过程中，所述huge page内存的页面大小默认设置为2MB，总大小设置为6GB以上；

可见，采用DPDK零拷贝技术，将协议栈上移到用户态，利用UIO技术直接将设备数据映射拷贝到用户态，减少中断次数，减少系统的内核和用户层之间的拷贝次数。采用大页技术，并将所有数据结构都cache对齐，降低TLB cache miss，提高TLB访问命中率。

在本发明实施例的一种具体实施方式中，所述内存块的获取方法包括：

在huge page内存上创建一批预设大小的内存块，各内存块的部分空间用于存储该内存块自身的状态、特性信息，其他空间用于存储网络数据包；各内存快在SSLVPN实现方法启动的时候创建，SSLVPN实现方法运行过程中不进行内存的分配和释放操作，以提升性能；

在具体实施过程中，各内存块的大小一般设置为2KB，也可以根据实际需求设置为其他大小，以满足系统需求。

在本发明实施例的一种具体实施方式中，所述利用独立的工作线程处理独立队列网卡内的数据处理，具体为：

利用独立的工作线程处理SSL协议报文，包括SSL认证握手、密钥交换、数据加密及数据解密，通过将工作线程与CPU核绑定，使得某一工作线程只在指定的CPU核上运行，不会迁移到其他CPU核。所述绑定为工作线程与CPU核的一对一绑定，即一个工作线程绑定到一个CPU核，不同工作线程绑定到不同CPU核。所述被绑定的CPU核只运行绑定的工作线程，不参与Linux进程调度。

在本发明实施例的一种具体实施方式中，所述SSLVPN实现方法还包括：

将每个工作线程对应一个独立的加密卡dma通道，用于确保加密卡dma通道的写返回数据一定是对应的读操作的工作线程，实现多核多线程对网络数据包的高效、并行处理，充分发挥出多核处理器硬件的优势。所有的加密卡dma通道共同行程密码模块。

如图1所示，本发明的方法实际位于终端和业务应用服务之间，充分发挥多核处理器的性能优势，基于DPDK零拷贝技术和VPP用户态协议栈，利用并行处理技术，实现了在普通X86工控机硬件条件下，百万级并发量的基于国密算法SSL客户端同时通过SSLVPN服务双向认证接入与数据接收、加密/解密处理与发送。

综上可见，本发明具有以下优点：

1)采用DPDK零拷贝技术，将协议栈上移到用户态，利用UIO技术直接将设备数据映射拷贝到用户态，减少中断次数，减少系统的内核和用户层之间的拷贝次数；

2)采用大页技术，并将所有数据结构都cache对齐，降低TLB cache miss，提高TLB访问命中率；

3)将网卡接收队列和工作线程通过亲和性绑定到固定的CPU逻辑核，减少CPU核间任务切换；

4)采用VPP用户态协议栈，将所有资源都按核分配，每个核都有自己独有的一份，避免多线程访问共享的资源带来的开销；

5)采用VPP用户态基础设施作为基本的c库服务集合，包含高性能的动态数组，哈希，位图，高精度的实时时钟，细粒度的事件记录和数据结构序列化，建立可直接在裸机上运行的独立程序，执行存储功能，管理缓冲区、内存和图形节点，维护和导出计数器，管理线程，跟踪数据包，执行会话和流量管理，尽可能的零系统调用，减少资源的竞争。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，包括：

构建DPDK零拷贝运行环境；

对内存进行预分配，获得系统达到最大并发时所需的内存块，所述内存块内存储有该内存块自身的状态、特性信息，以及网络数据包；

设置CPU核与多队列网卡间的调度策略，所述调度策略按流分配，根据网络数据包的特征信息识别出会话数据流，保证同一会话数据流被分配到同一队列网卡的接收队列、CPU核和工作线程；

利用独立的工作线程处理独立队列网卡内的数据接收、处理和转发，所述独立的工作线程是基于VPP创建的，所有工作线程对网络数据包的处理均仅在VPP用户态协议栈完成。

2.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于：所述DPDK零拷贝运行环境的构建方法包括：

所述CPU核为Intel处理器，所述队列网卡为Intel网卡，所述系统为Linux系统；加载Linux系统的UIO驱动框架模块，以及Intel网卡的UIO内核驱动模块，所述UIO驱动框架模块和UIO内核驱动模块均采用Poll模式来获取网络数据包；

将所用到物理网卡分别从Linux系统中的Linux网卡驱动解除绑定，并绑定到Intel网卡的UIO内核驱动模块；

设置huge page内存。

3.根据权利要求2所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，所述内存块的获取方法包括：

在huge page内存上创建一批预设大小的内存块，各内存块的部分空间用于存储该内存块自身的状态、特性信息，其他空间用于存储网络数据包；各内存快均仅在SSLVPN实现方法启动的时候创建。

4.根据权利要求2所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，所述huge page内存的页面大小默认设置为2MB，总大小设置为6GB以上。

5.根据权利要求4所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，各内存块的大小为2KB。

6.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于：各队列网卡提供RSS功能支持，通过对多队列网卡的相关寄存器进行设置，并通过对RSS算法修改，保证不同方向的同一会话数据流被分配到同一队列网卡的接收队列。

7.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，所述利用独立的工作线程处理独立队列网卡内的数据处理，具体为：

利用独立的工作线程处理SSL协议报文，包括SSL认证握手、密钥交换、数据加密及数据解密。

8.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于：所述特征信息包括源地址、目的地址、源端口、目的端口及传输协议。

9.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于：所述工作线程与CPU核一对一绑定，一工作线程只在指定的CPU核上运行；被绑定的CPU核只运行绑定的工作线程。

10.根据权利要求1所述的一种基于DPDK与VPP的SSLVPN实现方法，其特征在于，所述SSLVPN实现方法还包括：

将每个工作线程对应一个独立的加密卡dma通道，用于确保加密卡dma通道的写返回数据一定是对应的读操作的工作线程。

Images