CN117215718A - 一种国产处理器虚拟化适配调优方法 - Google Patents

Abstract

本发明公开了一种国产处理器虚拟化适配调优方法，包括：步骤1、DPDK控制转发分离，协议栈由快速通道、慢速通道、控制管理、共享内存四个部分组成；步骤2、基于虚拟化的强实时处理，构建过程遵循①域与CPU核进行绑定；②同一域中的CPU核在同一NUMA中；③实时域CPU核独占三个原则，保障实时虚拟化的CPU资源隔离性，减少非实时域的资源抢占。本发明的方法充分利用国产CPU多核计算的优势，实现高性能低延迟的网络转发能力、高性能网络开发组件、典型网络服务的高性能改造。

Description

一种国产处理器虚拟化适配调优方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于国产处理器虚拟化适配及多维度性能调优方法。

背景技术

国产处理器虚拟化适配调优技术的目的是解决国产处理器多路多芯片结构下虚拟化适配及技术、网络、传输等指标的性能提升，以适应高性能及高实时等多场景下的资源需求。

该技术基于国产处理器虚拟化适配及多维度性能调优的云平台基础技术，云计算是将物理计算机抽象成为若干相互安全隔离的逻辑计算机，为云平台提供可配置、可分配、可迁移的计算机资源，现代虚拟化技术大多数是基于X86的体系结构进行优化，在硬件使用国产ARM处理器场景下，云平台需要充分利用ARM体系结构的虚拟化硬件特性，首先需实现飞腾2000+服务器的虚拟化，然后针对国产飞腾2500NUMA结构的非一致内存访问问题，降低不同内存访问路径的延迟抖动，研究多路CPU环境下的实时虚拟化实现方法，以提升ARM服务器虚拟化的计算和数据传输性能。

发明内容

本发明的目的在于提供一种国产处理器虚拟化适配调优方法，用以解决现有技术存在的技术问题。

为实现上述目的，本发明的一种国产处理器虚拟化适配调优方法，包括：

步骤1、基于DPDK的协议栈控制网络的转发分离，整个协议栈由快速通道、慢速通道、控制管理、共享内存四个部分组成；

步骤2、基于虚拟化的对应用响应的强实时处理，通过改进虚拟化过程构建方式，实现虚拟化资源的强实时处理，构建虚拟化过程遵循如下三个原则：①域与CPU核进行绑定；②同一域中的CPU核在同一NUMA中；③实时域CPU核独占；所述三个原则保障实时虚拟化的CPU资源隔离性，减少非实时域的资源抢占。

进一步，其中，所述步骤1中所述快速通道是基于DPDK的数据平台工具实现的多核并行的快速网络处理逻辑，通过读取共享内存的记录信息处理网络报文，当快速通道在处理报文过程中针对ARP新建连接的状态更新报文时，通过DPDK提供的KNI模块将报文传递到慢速通道。

进一步，所述步骤1中所述慢速通道沿用Linux内核的网络协议栈，当接收到KNI模块传递过来报文后，进入Linux网络协议栈的正常处理流程，并更新网络信息记录。

进一步，所述步骤1中所述控制管理通过Netlink监听Linux内核网络协议栈下接口表、ARP表、网络过滤规则表、连接跟踪表、路由表的网络信息的更新事件，将网卡配置、网桥配置、Vlan配置、ARP配置、ARP状态更新、连接跟踪状态更新、路由表配置、iptables配置的更新事件同步写入到共享内存，Linux网络协议栈得到保留，提供完整的网络协议栈功能，所述快速通道完成网络处理逻辑，Linux网络协议栈完成慢速负责的状态更新逻辑，通过上述方式控制管理模块完成。

进一步，所述快速通道与所述慢速通道的状态信息和配置信息同步控制，最终实现控制转发分离的网络协议栈。

进一步，所述步骤2进一步包括针对多实时云的系统调用方法与系统库，应用层通过实时系统库查询域的相关信息以及指定域进行系统接口调用，改造KVM和/或QEMU系统调用接口将实时虚拟机与域进行绑定，实现可灵活可自定义的实时虚拟化技术。

进一步，所述步骤2进一步包括针对多实时云的系统调用方法与系统库，应用层通过实时系统库查询域Linux内核启动时读取non_real_time_domain与real_time_domain配置信息，并通过域Linux内核DTS获取物理服务器CPU ID与numanode ID的关系信息，根据CPU ID与numa node ID的关系信息以及non_real_time_domain与real_time_domain配置信息，将每个域的CPU核ID与numanode ID进行对比，判断域的CPU核范围是否在不同的NUMAnode ID，如果对应域的创建失败，有效防止跨NUMA导致实时性能下降；如果对应域的CPU范围属于相同的NUMAnode ID，则继续执行。

进一步，所述步骤2进一步包括：

①应用层的实时系统调用通过环境变量设置或系统库函数入参的方式指定domain ID执行，非实时系统调用保留Linux操作系统原有的系统调用，默认为非实时；

②当Linux内核态的实时系统调用接收到带有domain ID的调用请求后，根据domain ID获取domain ID相同的实时域，并在相应实时域的微内核中执行实时系统调用的函数方法；

③由于实时域与CPU核处于绑定关系，因此系统调用方法锁定在指定的CPU核上处理，应用层无需通过taskset命令taskset-cp CPU号pid设置虚拟机CPU亲和性，减少系统调用复杂度，避免应用层因错误指定跨NUMACPU导致实时性能损失。

进一步，所述步骤2进一步包括针对多租户实时虚拟化场景，通过Linux内核态将CPU核、域、微内核进行一对一绑定，强化实时域的隔离性，并根据NUMA与CPU的关系，进行CPU核的分配管理，避免跨NUMA的核间通信带来的性能损耗，保障实时虚拟化的实时性能。

进一步，所述步骤2进一步包括在标准Linux系统库与系统调用的基础上，加入指定Domain ID功能，实现应用层在非实时域、多个实时域的灵活调用，实现非实时虚拟化与实时虚拟化在一台服务器内并存。本发明方法具有如下优点：

一、DPDK的控制转发分离

充分利用国产CPU多核计算的优势，针对高并发、低延迟高性能网络场景，研发多队列透传网络转发加速技术，摆脱传统Linux网络协议栈的数据拷贝、锁开销、CPU上下文切换等性能瓶颈，加速SDN虚拟交换机、加速虚拟化网络数据交换，实现高性能低延迟的网络转发能力。移植FreeBSD网络协议栈至多线程应用层，实现高性能网络开发组件，实现典型网络服务的高性能改造，如Redis、Nginx、Route、iptables。实现系列化网络服务，满足巨量在线云服务的高性能网络需求。

二、基于虚拟化的强实时技术

基于虚拟化的强实时技术、云操作系统，在微内核技术的基础上，提出非实时域与实时域的概念，非实时域中运行通用的Linux Kernel、Linux系统调用、提供Linux标准的系统库，用于支撑上层非实时应用、非实时虚拟机；实时域中运行实时微内核、实时系统调用、实时系统库，用于支撑上层实时虚拟机。通过读取Linux内核的DTS设备树信息获取物理服务器的CPUNUMA结构，根据CPUNUMA结构信息，开机自动构建若干个实时域与一个非实时域。

附图说明

图1示出了飞腾2500架构；

图2示出了本发明国产处理器虚拟化适配调优方法流程图。

具体实施方式

下面将结合具体实施方案对本发明的技术方案进行清楚、完整的描述，但是本领域技术人员应当理解，下文所述的实施方案仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方案，都属于本发明保护的范围。

一、ARM虚拟化

ARP为地址解析协议，是根据IP地址获取物理地址的一个TCP/IP协议，ARM是处理器的一种架构，ARM虚拟化后是通过ARP来进行地址解析，从而实现DPDK的协议栈控制网络转发分离

ARM虚拟化技术采用ARM64硬件辅助虚拟化技术实现CPU和内存虚拟化，基于开源成熟的KVM+ARM64虚拟化技术架构构建hypervisor内核，实现国产飞腾ARM处理器的虚拟化及调度。

ARM虚拟化的扩展与其他CPU架构非常不同。许多研究项目尝试在没有硬件虚拟化支持的情况下在ARM处理器上实现虚拟化，但是需要不同级别的半虚拟化且都不稳定。KVM针对ARM处理器虚拟化的设计能够实现其在虚拟环境中运行未经任何修改的客户操作系统(guest os)。为了能在ARM架构的CPU中运行hypervisor，ARM引入了一种新的CPU模式---HYP模式。

KVM/ARM与Linux内核紧密的集成在一起，有效地将内核当作是ARM管理程序。要让KVM/ARM使用该硬件特性，内核必须能够以某种方式在HYP模式下运行代码，因为HYP模式被用于配置硬件来运行虚拟机，并且从虚拟机到主机之间的切换都是由HYP模式来完成。KVM/ARM必须管理一组单独的HYP模式页表，并对HYP模式访问的代码和数据进行显式映射。因此我们提出了在多个CPU模式之间分割执行，在HYP模式下尽可能少的运行代码。在HYP模式下运行的代码被限制在几百条指令之内。

所有体系架构的KVM都是通过向用户空间暴露一个简单的接口来提供CPU和内存等核心组件的虚拟化。设备的模拟、虚拟机的配置和设置都是由用户空间的一个进程来完成。

在HYP模式下引导安装内核是另一个问题。第一，ARM内核通常是以压缩镜像的方式进行加载，带有一个称为“解压器”的小型未压缩引导环境，他将内核镜像解压到内存中。如果解压器探测到当前是在HYP模式下启动的，那么在这个阶段必须安装一个临时的stub，以便允许CPU回到SVC模式来运行解压的代码。因为解压器必须打开MMU来使能cache，但是在HYP模式下则需要HYP支持LPAE页表格式，这是解码器中不需要的复杂部分。因此，解压器安装临时的HYP stub，是CPU回到SVC模式，解压内核镜像，在调用未压缩的初始化代码之前，立即再次切换回HYP模式。然后，未压缩的初始化代码将再次检测CPU是否处于HYP模式，并安装主HYP stub，以便在引导过程或者是内核启动之后而被使用。

支持硬件虚拟化的ARMv7架构也包括对时钟和中断的虚拟化支持。应该实现对这些特性的支持，这些特性称为“通用计时器”和虚拟通用中断控制器(VGIC)。ARM允许对体系结构(通用计时器)进行可选扩展，这使得计数器和计时器操作成为核心架构中的一部分。现在，读取计数器或者编程计时器是通过访问和使用协处理器寄存器来完成，而且通用计数器提供两种时钟和计数：物理和虚拟。

中断控制器的作用是接收来自于设备的中断请求并将其转发到一个或者多个CPU中。ARM的通用中断控制器(GIC)提供了一个“分发器”，其是GIC和几个CPU接口的核心逻辑。GIC运行CPUs屏蔽某些中断、设定优先级或者将特定中断绑定到特定的CPU上。最终一个CPU可用使用GIC将处理器间中断(IPIs)从一个CPU核发送给另外的CPU核，这是ARM上SMP交叉调用的底层机制。

二、NUMA虚拟化

NUMA虚拟化技术基于飞腾2500处理器NUMA结构，调优KVM虚拟化调度策略，实现高性能虚拟机的优化配置。

为了避免内存成为多CPU的性能瓶颈，飞腾2500采用了如图1所示的NUMA结构，这个结构引入了NUMA的虚拟化问题。

NUMA节点包括一组物理CPU(核心)和关联的本地内存，每个CPU都有自己的内存块，可以以低延迟对其进行访问。但是，有时CPU将需要访问连接到另一个插槽的内存。这被称为远程内存访问，而这要求的高延迟可能会使处理器无法使用。

可以将此类KVM配置为考虑NUMA拓扑，以提高其客户机的性能。由于远程内存访问会导致高延迟，因此您可能要确保将来宾隔离到一个CPU插槽及其本地内存，同时将来宾分散到多个区域。

KVM虚拟机管理程序将虚拟机视为常规进程，并且为了最大程度地降低NUMA对基础硬件的影响。为了保证虚拟机应用的性能，可以强制虚拟机在特定核上运行并使用本地内存。

三、实时虚拟化

实时虚拟化技术是构建云操作系统微内核技术，实时域中运行实时微内核、实时系统调用、实时系统库，用于支撑上层实时虚拟机。

无论采用怎样的虚拟化方法，实时虚拟化要求底层软件不能阻碍实时应用对中断的及时响应。但是应用响应又受到应用调度的影响，在提供进程抽象的系统中，实时应用进程应该得到优先的调度级，而在提供线程抽象的系统中，实时线程需要在进程和线程调度的两个级别得到调度保证。线程和进程的调度是由中断驱动的，而中断系统分为硬件机制和软件中断处理机制两个层次。

如果将虚拟化软件直接建立在硬件之上，那么就要求硬件能够及时响应中断。需要充分利用硬件特性，快速转发中断信号，使得CPU能够得到快速的响应。而这一要求需要在BIOS和BMC上强加影响，至少不应存在跨CPU的全局性中断禁止。

如果虚拟化软件建立在操作系统之上，那么这个运行在物理硬件上的操作系统也不能阻碍中断的及时响应，因此需要把实时应用所在的虚拟化抽象放在一个较高甚至最高的响应优先级上。基于优先级的调度，在恰当的时候应该可以暂停低优先级程序占用CPU的权利，那么就需要剥夺这个低优先级程序的CPU使用权，所以基于优先级的调度本质上是一种可抢先的调度。所以在实时虚拟化中要求物理硬件上运行的操作系统是一个可抢先调度内核的操作系统。

当实时应用运行在基于操作系统虚拟化的系统上时，这个操作系统可以有两种选择，即为上层应用提供两种CPU抽象：进程或者线程。由于进程具有相对完整的隔离，那么进程抽象可以再次运行实时操作系统，那么实时应用的调度由这个进程抽象之上的实时操作系统来完成。但是在提供线程虚拟化抽象的系统中，操作系统负责完成实时应用的虚拟化调度。

四、SDN+DPDK技术

基于SDN和DPDK研发多队列透传网络转发加速技术，摆脱传统Linux网络协议栈的数据拷贝、锁开销、CPU上下文切换等性能瓶颈，加速SDN虚拟交换机、加速虚拟化网络数据交换，实现高性能低延迟的网络转发能力。

本发明具体实施例：

本发明的一种国产处理器虚拟化适配调优方法，包括：

一、基于DPDK的协议栈控制网络转发分离

协议栈的控制转发分离是基于DPDK提供的API技术实现的，整个协议栈由快速通道、慢速通道、控制管理、共享内存四个部分组成，其中快速通道是基于DPDK的数据平台工具实现的多核并行的快速网络处理逻辑，通过读取共享内存的记录信息处理网络报文，当快速通道在处理报文过程中针对ARP新建连接等状态更新报文，会通过DPDK提供的KNI模块将报文传递到慢速通道。慢速通道沿用Linux内核的网络协议栈，当接收到KNI模块传递过来报文后，进入Linux网络协议栈的正常处理流程，并更新网络信息记录。控制管理通过Netlink监听Linux内核网络协议栈下接口表、ARP表、网络过滤规则表、连接跟踪表、路由表等网络信息的更新事件，将网卡配置、网桥配置、Vlan配置、ARP配置、ARP状态更新、连接跟踪状态更新、路由表配置、iptables配置等更新事件同步写入到共享内存，这样Linux网络协议栈得到保留提供完整的网络协议栈功能，快速通道完成简单快速的网络处理逻辑，Linux网络协议栈完成慢速负责的状态更新逻辑，控制管理模块完成。快速通道与慢速通道的状态信息和配置信息的同步控制，最终实现控制转发分离的网络协议栈。

二、基于改进虚拟化过程构建的强实时处理

通过改进虚拟化过程构建方式，实现虚拟化资源的强实时处理。

构建虚拟化过程通过遵循如下三个原则：①域与CPU核进行绑定；②同一域中的CPU核在同一NUMA中；③实时域CPU核独占。以此保障实时虚拟化的CPU资源隔离性，减少非实时域的资源抢占。针对多实时云的系统调用方法与系统库，应用层可通过实时系统库查询域的相关信息以及指定域的进行系统接口调用，在此基础上改造KVM/QEMU系统调用接口将实时虚拟机与域进行绑定，从而实现可灵活可自定义的实时虚拟化技术。

Linux内核启动时读取non_real_time_domain与real_time_domain配置信息，并通过Linux内核DTS(DTS即Device Tree Source设备树源码，Device Tree是一种描述硬件的数据结构)获取物理服务器CPU ID与numa node ID的关系信息，根据CPU ID与numa nodeID的关系信息以及non_real_time_domain与real_time_domain配置信息，将每个域的CPU核ID与numanode ID进行对比，判断域的CPU核范围是否在不同的NUMA node ID，如果是对应域的创建失败，有效防止跨NUMA导致实时性能下降。如果域的CPU范围属于相同的NUMAnode ID，则继续执行。

①应用层的实时系统调用可通过环境变量设置或系统库函数入参的方式指定domainID(域的唯一标识)执行。而非实时系统调用保留Linux操作系统原有的系统调用，默认为非实时。

②当内核态的实时系统调用接收到带有domainID的调用请求后，根据domainID获取domain ID相同的实时域，并在相应的实时域的微内核中执行实时系统调用的函数方法。其中，微内核是提供操作系统核心功能的内核的精简版本，是一种能够提供必要服务的操作系统内核，这些必要的服务包括任务、线程、交互进程通信、以及内存管理等。

③由于实时域与CPU核处于绑定关系，因此系统调用方法锁定在指定的CPU核上处理，应用层无需通过taskset命令taskset-cp CPU号pid设置虚拟机CPU亲和性，减少系统调用复杂度，避免应用层因错误指定跨NUMACPU导致实时性能损失。

针对多租户实时虚拟化场景，通过内核态将CPU核、域、微内核进行一对一绑定，强化实时域的隔离性，并根据NUMA与CPU的关系，CPU核的分配管理，避免跨NUMA的核间通信带来的性能损耗，进一步保障实时虚拟化的实时性能。在标准Linux系统库与系统调用的基础上，加入了指定Domain ID功能，实现应用层在非实时域、多个实时域的灵活调用，进一步实现非实时虚拟化与实时虚拟化在一台服务器内并存，提升资源利用率。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种国产处理器虚拟化适配调优方法，包括：

步骤1、基于DPDK的协议栈控制网络的转发分离，整个协议栈由快速通道、慢速通道、控制管理、共享内存四个部分组成；

步骤2、基于虚拟化的对应用响应的强实时处理，通过改进虚拟化过程构建方式，实现虚拟化资源的强实时处理，构建虚拟化过程遵循如下三个原则：①域与CPU核进行绑定；②同一域中的CPU核在同一NUMA中；③实时域CPU核独占；所述三个原则保障实时虚拟化的CPU资源隔离性，减少非实时域的资源抢占。

2.根据权利要求1所述的国产处理器虚拟化适配调优方法，其特征在于，其中，所述步骤1中所述快速通道是基于DPDK的数据平台工具实现的多核并行的快速网络处理逻辑，通过读取共享内存的记录信息处理网络报文，当快速通道在处理报文过程中针对ARP新建连接的状态更新报文时，通过DPDK提供的KNI模块将报文传递到慢速通道。

3.根据权利要求1所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤1中所述慢速通道沿用Linux内核的网络协议栈，当接收到KNI模块传递过来报文后，进入Linux网络协议栈的正常处理流程，并更新网络信息记录。

4.根据权利要求1所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤1中所述控制管理通过Netlink监听Linux内核网络协议栈下接口表、ARP表、网络过滤规则表、连接跟踪表、路由表的网络信息的更新事件，将网卡配置、网桥配置、Vlan配置、ARP配置、ARP状态更新、连接跟踪状态更新、路由表配置、iptables配置的更新事件同步写入到共享内存，Linux网络协议栈得到保留提供完整的网络协议栈功能，所述快速通道完成网络处理逻辑，Linux网络协议栈完成慢速负责的状态更新逻辑，控制管理模块完成。

5.根据权利要求1所述的国产处理器虚拟化适配调优方法，其特征在于，所述快速通道与所述慢速通道的状态信息和配置信息同步控制，最终实现控制转发分离的网络协议栈。

6.根据权利要求1所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤2进一步包括针对多实时云的系统调用方法与系统库，应用层通过实时系统库查询域的相关信息以及指定域进行系统接口调用，改造KVM和/或QEMU系统调用接口将实时虚拟机与域进行绑定，实现可灵活可自定义的实时虚拟化技术。

7.根据权利要求6所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤2进一步包括针对多实时云的系统调用方法与系统库，应用层通过实时系统库查询域Linux内核启动时读取non_real_time_domain与real_time_domain配置信息，并通过Linux内核DTS获取物理服务器CPU ID与numanode ID的关系信息，根据CPU ID与numa node ID的关系信息以及non_real_time_domain与real_time_domain配置信息，将每个域的CPU核ID与numanode ID进行对比，判断域的CPU核范围是否在不同的NUMAnodeID，如果对应域的创建失败，有效防止跨NUMA导致实时性能下降；如果对应域的CPU范围属于相同的NUMAnode ID，则继续执行。

8.根据权利要求7所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤2进一步包括：

①应用层的实时系统调用通过环境变量设置或系统库函数入参的方式指定domain ID执行，非实时系统调用保留Linux操作系统原有的系统调用，默认为非实时；

②当Linux内核态的实时系统调用接收到带有domain ID的调用请求后，根据domainID获取domain ID相同的实时域，并在相应的实时域的微内核中执实时系统调用的函数方法；

③由于实时域与CPU核处于绑定关系，因此系统调用方法锁定在指定的CPU核上处理，应用层无需通过taskset命令taskset-cp CPU号pid设置虚拟机CPU亲和性，减少系统调用复杂度，避免应用层因错误指定跨NUMACPU导致实时性能损失。

9.根据权利要求8所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤2进一步包括针对多租户实时虚拟化场景，通过Linux内核态将CPU核、域、微内核进行一对一绑定，强化实时域的隔离性，并根据NUMA与CPU的关系，进行CPU核的分配管理，避免跨NUMA的核间通信带来的性能损耗，保障实时虚拟化的实时性能。

10.根据权利要求9所述的国产处理器虚拟化适配调优方法，其特征在于，所述步骤2进一步包括在标准Linux系统库与系统调用的基础上，加入指定DomainID功能，实现应用层在非实时域、多个实时域的灵活调用，实现非实时虚拟化与实时虚拟化在一台服务器内并存。