CN111966446B - 一种容器环境下rdma虚拟化方法 - Google Patents

Abstract

本发明属于虚拟化技术领域，具体为一种容器环境下RDMA虚拟化方法。本发明将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。本发明采用软硬件协同方法，提供设备、连接和安全三个维度的管理能力，具有接近硬件RDMA性能的吞吐量性能、低CPU损耗和较好地压力负载可伸缩性，且具有较好的编排能力，并可集成到多个容器环境。

Description

一种容器环境下RDMA虚拟化方法

技术领域

本发明属于虚拟化技术领域，具体涉及一种容器环境下RDMA虚拟化方法。

背景技术

随着互联网技术的快速发展，应用的用户规模越来越大，需要的服务器资源越来越多。为了实现对服务器资源的高效利用，云计算通过虚拟化技术将硬件资源池化，予以更高层次的抽象和更细粒度的划分，突破物理实体结构不可分割的特性，以更灵活高效的方式来应用资源。

目前全球大数据对虚拟化技术性能相关的需求日益增长，轻量级容器虚拟化逐渐在云环境中应用，并逐渐成为目前云计算领域流行的资源抽象解决方案。容器从操作系统层面将物理资源和运行环境进行抽象隔离，给用户划分出多个隔离的执行环境，达到较好的启动时间、较高的运行时性能和服务器资源高效利用率等优势。

最近这些年，随着云计算环境需要处理的数据规模指数上升，分散在网络环境中运行的分布式应用需要频繁的通过网络进行通信，因此网络通信成为性能的瓶颈之一。而具备低延迟和高吞吐特性的RDMA网络的出现和普及，增强了网络基础设施的性能，为高性能网络通信问题提供了一种可行方案。因此容器虚拟化需要应用RDMA网络以满足大数据环境下的网络通信性能需求。但是，容器环境中直接使用RDMA的通信过程中流量直接在内存和硬件之间传输，没有对RDMA硬件的管理和隔离机制，无法保证数据流量的安全性，而且也难以满足容器环境网络控制方面的诸多诉求。因此需要通过RDMA的虚拟化。

目前在容器环境下进行RDMA虚拟化主要分为硬件辅助虚拟化和软件辅助虚拟化两种方式。RDMA硬件辅助虚拟化预先将RDMA直接透传给容器环境或者划分成具有独立配置空间的虚拟功能设备提供给容器环境，而不用经过其他的虚拟层模拟，具有较低的通信性能损失，但是由于将管理和使用统一交给用户层处理，数据流绕过容器网络管理，在资源控制和迁移调度上存在限制，导致会缺乏容器必须的网络设备管理和编排等能力；RDMA软件辅助虚拟化将管理和使用全部转发后到中间层处理，利用容器进程和主机进程共用主机操作系统内核的特性，转发控制命令和数据通道共享内存实现RDMA通信，提供对RDMA的管理，但是转发交互整个RDMA工作流程，导致吞吐量的下降并增大网络延迟。现有的硬件辅助RDMA虚拟化和软件辅助RDMA虚拟化二者存在将RDMA资源管理和使用混合在一起放在同一层次进行处理的共同问题，无法兼顾满足RDMA和容器二者的需求。

针对当前RDMA虚拟化工作流没有分离的问题，本发明提出了一种软硬件虚拟化协调的方法，将RDMA管理和使用放在不同的层次进行处理，其中管理部分由RDMA虚拟层进行处理，管理和映射设备上下文和设备资源参数，并且建立通信连接；使用部分由用户层负责，用户层可以使用RDMA虚拟层提供的设备上下文，完成RDMA使用流程的操作，直接在用户层使用RDMA资源。

名词解释

容器是指一种通过操作系统内核提供的隔离和资源管理机制，在操作系统内核之上虚拟出一组资源受到限制，相互隔离的进程的操作系统层上的轻量级虚拟化技术。

RDMA是指一种在通信两端实现内存缓存直接传递，无需操作系统和协议栈的介入的远程直接访问内存的网络技术，发送信息过程通过RDMA CQ（完成队列）、QP（发送队列对）等消息队列异步传输。

RDMA硬件辅助虚拟化是指让虚拟环境内的RDMA应用直接使用物理网络设备，而不用经过虚拟机监视器或其他虚拟层的技术。

RDMA软件辅助虚拟化是指将RDMA命令转发到软件中间层进行处理的虚拟化技术。

SR-IOV是指一种通过硬件支持在虚拟环境之间高效共享底层PCIe硬件设备的虚拟化标准。

PF是指具有PCIe全部能力的物理功能。

VF是指受PF管理的拥有彼此独立的系统配置空间且共享物理层资源的轻量级PCIe虚拟功能。

vRNIC是指虚拟RDMA设备。

发明内容

本发明的目的在于提供一种容器虚拟化环境优秀性能和编排能力兼有的RDMA虚拟化方法。

本发明提供的容器环境下RDMA虚拟化方法，是基于RDMA管理和使用工作流分离的思想，解决了容器环境应用RDMA性能和编排能力矛盾的问题。相比于现有的混合工作流的单纯的硬件或软件辅助RDMA虚拟化，本发明将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化。其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。本发明的管理过程满足容器虚拟化环境所需要的管理和编排以及安全和访问控制等能力；同时使用过程用户层直接和硬件虚拟化设备交互具有较高的性能。

本发明提供的容器环境下RDMA虚拟化方法，参见图2，具体步骤为：

首先，通过软硬件辅助虚拟化结合提供设备管理；构建资源隔离的操作和资源受限的虚拟RDMA设备。硬件辅助虚拟化预先申请和动态拓展虚拟功能设备池，通过修改内核SR-IOV接入内核PF驱动构建VF设备池实现管理和绑定；通过软件辅助虚拟化的方式构建RDMA虚拟设备，提供一个位于用户层容器内的接口，序列化对网卡文件描述符的请求映射到在物理网卡中对实际资源队列的相应操作，将来自物理网卡的返回转换为对虚拟资源队列的返回给用户层容器接口，并提供RDMA资源令牌桶控制策略和容器迁移能力。

然后，通过连接管理负责在虚拟层预先建立连接，彼此共享配置、VF设备等信息，同时提供RDMA组策略进行容器通信隔离。连接管理通过共享的键值存储定义VF信息、容器和VF映射信息、虚拟RDMA组以及VF连接信息等存储信息，并基于LRU缓存替换策略，实现缓存数据结构，由PD_Shard、QP_Shard、CQ_Shard、Info_Shard三种资源信息缓存和一种配置信息缓存块构成，每种缓存块根据需求有多个，不同的缓存之间相互独立，提高缓存数据获取的并发度，减少锁开销。

再次，由安全管理附加安全通信的扩展能力，提供安全连接建立以及用户层和虚拟层之间的请求验证。安全管理分为RDMA安全连接拓展和虚拟层请求验证机制，二者基于数字摘要技术、非对称加密提供的数字签名技术和SSL协议原理，保证较高安全性的同时获得较好的性能，不引入额外的瓶颈。

最后，用户层使用虚拟层提供的设备上下文创建RDMA资源。用户层的创建过程和使用情况会异步进行记录，最后用户层通过资源直通完成RDMA资源的使用，避免了频繁的命令转发和额外CPU资源等待问题，因此可以获得近乎硬件RDMA的性能。

本发明还考虑用户层容器可以创建多RDMA资源，并且可能使用多线程并行传输数据。为了避免阻塞和过多的锁操作影响性能，针对不同的RDMA资源创建了各自具有专用线程的Unix本地套接字和映射号用于数据操作和事件通知，并使用部分Unix本地套接字用于请求管理信息的交互，保持数据路径无锁，提高并发性能。

本发明采用软硬件协同方法，提供设备、连接和安全三个维度的管理能力，具有接近硬件RDMA性能的吞吐量性能、低CPU损耗和较好地压力负载可伸缩性，且具有较好的编排能力，并可集成到多个容器环境。

附图说明

图1为本发明的RDMA虚拟化框架图。

图2为本发明的管理和使用工作流分离的流程图。

具体实施方式

下面结合说明本发明在管理和使用工作流分离的容器环境RDMA虚拟化的具体实施方式。本发明主要利用RDMA管理和使用分离放在不同的层次处理来解决容器应用RDMA的问题，通过软硬件辅助虚拟化的结合提供设备、连接和安全三个部分的管理能力，充分利用RDMA性能并提供容器需要的编排能力。

1、宿主机启动SR-IOV设置VF（一开始根据CPU核数设置适中数，在本发明中设定为128），修改SR-IOV内核驱动的打开设备的请求，对于任何通过内核RDMA驱动例程的打开设备请求，根据请求的用户层容器的内核指针获得容器名字空间，并以此标记RDMA VF设备，对于该容器后续打开请求，寻找对应标记属性的设备，当容器删除或迁移时，VF管理和内核交互清空设备的容器RDMA标记属性。

2、虚拟层和用户层通信借助于内核提供的发送数据包头msghdr的辅助数据来获取文件描述符对应的地址，传递文件描述符对应内核中的地址。传递的过程：首先虚拟层发送端填充msghdr结构体参数，并将待传递的文件描述符填充msghdr结构体内。虚拟层和用户层分别调用接收流程recvmsg和发送流程sendmsg，传递辅助数据。然后用户层接收端通过辅助数据结构重构出文件描述符（数据地址传递由内核自动完成），并限制打开等管理功能。并通过SHA1和ECC实现带时间戳的数字摘要和签名实现用户层和虚拟层间通信请求的验证。

3、虚拟层启动rvlprxoy接口获得用户层发送的Verbs和RDMACM信息，预先设置RDMA虚拟组，通过OpenSSL提供连接安全性，建立组内VF连接，处理RDMA资源元数据交换的过程，并附加RDMA令牌桶限制策略，将有预设速率限制的令牌桶和用户层容器关联，并通过1中VF管理和2中传递的文件描述符映射构建一个受限制的虚拟RDMA设备。

4、将用户层容器内RDMA IB网络Verbs API接口禁用并通过rvl动态链接库劫持原有的Verbs接口，同时使用Overlay网络设置容器虚拟IP的分配，并截获原RDMA CM的请求。在文件描述符传递过程后（管理过程结束后），通过虚拟RDMA设备上下文，完成RDMA使用相关操作，直接在用户层使用RDMA CQ、QP以及RDMA Buffer等资源，并将资源信息发送虚拟层进行记录相关的资源信息，最后用户层容器可以直接使用关联的RDMA资源与VF设备进行交互。

测试环境为：在四台服务器节点，每台服务各配备Intel Xeon E7-4850 v4 CPU型号处理器，每台服务器共拥有64个物理核128个逻辑核，并配备一块InfiniBnd架构MT27500[ConnectX-3]RDMA网卡。RDMA与CPU通过PCIe插槽（PCIe 3.0，x16带宽）进行连接。服务器操作系统为CentOS 7.4.1708（内核版本3.10.0-693.el7.x86_64），RDMA相关依赖库版本为libibverbs-1.2.1，libmlx4-1.2.1和librdmacm-1.1.0，使用编译器为GCC-5.4.0版本，程序编译优化使用O3。测试实验工具和数据集使用Mellanox提供的perftest测试工具。实验数据表明，本发明在两个RDMA容器通信发送64B到128KB大小消息的情况下平均性能提高6倍，在4台服务器上512个RDMA容器并行通信时性能提高2.65倍，远高于FreeFlow的性能，达到了在多个容器环境下获得性能和编排能力的RDMA通信能力的目的。

Claims (2)

1.一种容器环境下RDMA虚拟化方法，其特征在于，将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程；

具体步骤为：

首先，通过软硬件辅助虚拟化结合提供设备管理；构建资源隔离的操作和资源受限的虚拟RDMA设备；硬件辅助虚拟化预先申请和动态拓展虚拟功能设备池，通过修改内核SR-IOV接入内核PF驱动构建VF设备池，实现管理和绑定；通过软件辅助虚拟化的方式构建RDMA虚拟设备，提供一个位于用户层容器内的接口，序列化对网卡文件描述符的请求映射到在物理网卡中对实际资源队列的相应操作，将来自物理网卡的返回转换为对虚拟资源队列的返回，给用户层容器接口，并提供RDMA资源令牌桶控制策略和容器迁移能力；

然后，通过连接管理负责在虚拟层预先建立连接，彼此共享配置、VF设备信息，同时提供RDMA组策略进行容器通信隔离；连接管理通过共享的键值存储定义VF信息、容器和VF映射信息、虚拟RDMA组以及VF连接信息，并基于LRU缓存替换策略，实现缓存数据结构，由PD_Shard、QP_Shard、CQ_Shard、Info_Shard三种资源信息缓存和一种配置信息缓存块构成，每种缓存块根据需求有多个，不同的缓存之间相互独立，提高缓存数据获取的并发度，减少锁开销；

再次，由安全管理附加安全通信的扩展能力，提供安全连接建立以及用户层和虚拟层之间的请求验证；安全管理分为RDMA安全连接拓展和虚拟层请求验证机制，二者基于数字摘要技术、非对称加密提供的数字签名技术和SSL协议原理，保证较高安全性的同时获得较好的性能；

最后，用户层使用虚拟层提供的设备上下文创建RDMA资源；用户层的创建过程和使用情况，异步进行记录；用户层通过资源直通完成RDMA资源的使用，以避免频繁的命令转发和额外CPU资源等待问题。

2.根据权利要求1所述的容器环境下RDMA虚拟化方法，其特征在于，针对不同的RDMA资源创建各自具有专用线程的Unix本地套接字和映射号，用于数据操作和事件通知，并使用部分Unix本地套接字用于请求管理信息的交互，保持数据路径无锁，提高并发性能。

Images