CN112003797B

CN112003797B - 一种虚拟化dpdk网络性能提高方法、系统、终端及存储介质

Info

Publication number: CN112003797B
Application number: CN202010687710.1A
Authority: CN
Inventors: 蒋晨晓; 苏冉; 张广丽; 朱博
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2020-07-16
Filing date: 2020-07-16
Publication date: 2022-06-21
Anticipated expiration: 2040-07-16
Also published as: CN112003797A

Abstract

本发明提供一种虚拟化DPDK网络性能提高方法、系统、终端及存储介质，包括：采集所有网卡的队列收发量；根据每个网卡的队列收发量计算每个队列的CPU资源使用率；按CPU资源使用率由大到小对所有队列进行排序；按队列顺序依次将队列分配至空闲CPU核，直至无空闲CPU核，所述CPU核上承载PMD线程；将剩余队列平均分配至所有CPU核。通过监控、分配、调整网卡收发队列和CPU core的对应关系，以达到CPU资源的合理利用，避免产生CPU资源利用不合理的情况，从而影响网络性能。最终在虚拟化中实现CPU资源的合理利用，实现DPDK高性能网络。

Description

一种虚拟化DPDK网络性能提高方法、系统、终端及存储介质

技术领域

本发明涉及虚拟化技术领域，具体涉及一种虚拟化DPDK网络性能提高方法、系统、终端及存储介质。

背景技术

DPDK(Data Plane Development Kit)是一个开源的快速包处理开发工具集，实现了一套完整的基于Linux OS但又不同于Linux OS的用户空间实时运行环境，包含用户空间高效的数据包处理提供库函数和驱动的支持，它不同于Linux系统以通用性设计为目的，而是专注于网络应用中数据包的高性能处理。具体体现在DPDK应用程序是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了Linux内核协议栈对数据包处理过程，实现DPDK高速报文转发。利用DPDK的高速报文吞吐优势，对接运行在Linux用户态的程序，对成本降低和硬件通用化有很大的好处，在软件为主体的虚拟化中实现了网络的高性能化。

但是在虚拟化中，出于成本考虑或其他方面的原因，单一物理主机承载多台虚拟机，要实现虚拟机的高性能网络，就存在DPDK所用资源的竞争，最明显的就是PMD资源的竞争，DPDK的用户态网卡驱动屏蔽了硬件发出中断，然后在用户态采用主动轮询的方式，这种模式被称为PMD(Poll Mode Driver)，每个CPU core承载一个PMD线程。主动轮询去掉用硬中断，DPDK从而可以在用户态做收发包处理。带来无系统调用的好处，同步处理减少上下文切换带来的Cache Miss。运行PMD的CPU core会带来100％的CPU使用率。虚拟机较少或者网络带宽不高的情况下，单一的CPU core就满足了网络性能要求，但是随着虚拟机的增加或者网络带宽的持续性增加，就需要配置多个PMD和与之对应的CPU core，来对应多个虚拟机虚拟网卡或物理网卡多个队列的收发包(后续简称为rxq和txq)处理。这里就存在两个问题需要解决，第一：如何设置rxq/txq与CPU core，也就是PMD之间的对应关系，实现最小资源的最大性能；第二：在虚拟机网络突发流量或者流量上下波动的情况下，如何实现资源的再分配，避免资源的不合理分配，从而影响个别虚拟机的流量上限。

发明内容

针对现有技术的上述不足，本发明提供一种虚拟化DPDK网络性能提高方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种虚拟化DPDK网络性能提高方法，包括：

采集所有网卡的队列收发量；

根据每个网卡的队列收发量计算每个队列的CPU资源使用率；

按CPU资源使用率由大到小对所有队列进行排序；

按队列顺序依次将队列分配至空闲CPU核，直至无空闲CPU核，所述CPU核上承载PMD线程；

将剩余队列平均分配至所有CPU核。

进一步的，所述方法还包括：

根据队列索引值和队列所属网卡的索引值对队列进行排序，得到队列索引顺序，所述网卡为物理网卡或虚拟网卡；

根据所述队列索引顺序对队列进行初始CPU核分配。

进一步的，所述方法还包括：

设置调度周期；

根据所述调度周期定期根据队列的CPU资源使用率对所有队列进行CPU核重分配。

进一步的，所述方法还包括：

监控集群CPU使用率；

若所有CPU使用率均达到预设阈值，则判定CPU处于繁忙状态；

对处于繁忙状态的CPU计时；

若所有CPU处于繁忙状态的持续时间均达到预设时间阈值，则通过修改DPDK配置增加DPDK使用的CPU核。

进一步的，所述方法包括：

设置优先队列与指定CPU核的绑定，并将所述指定CPU核标定已绑定标记；

不再向带有已绑定标记的CPU核分配非绑定队列。

第二方面，本发明提供一种虚拟化DPDK网络性能提高系统，包括：

收发采集单元，配置用于采集所有网卡的队列收发量；

资源计算单元，配置用于根据每个网卡的队列收发量计算每个队列的CPU资源使用率；

队列排序单元，配置用于按CPU资源使用率由大到小对所有队列进行排序；

队列分配单元，配置用于按队列顺序依次将队列分配至空闲CPU核，直至无空闲CPU核，所述CPU核上承载PMD线程；

平均分配单元，配置用于将剩余队列平均分配至所有CPU核。

进一步的，所述系统还包括：

索引排序单元，配置用于根据队列索引值和队列所属网卡的索引值对队列进行排序，得到队列索引顺序，所述网卡为物理网卡或虚拟网卡；

初始分配单元，配置用于根据所述队列索引顺序对队列进行初始CPU核分配。

进一步的，所述系统还包括：

资源监控单元，配置用于监控集群CPU使用率；

繁忙判定单元，配置用于若所有CPU使用率均达到预设阈值，则判定CPU处于繁忙状态；

繁忙计时单元，配置用于对处于繁忙状态的CPU计时；

资源扩展单元，配置用于若所有CPU处于繁忙状态的持续时间均达到预设时间阈值，则通过修改DPDK配置增加DPDK使用的CPU核。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的虚拟化DPDK网络性能提高方法、系统、终端及存储介质，能够在多台虚拟机或者多个网卡队列情况下，优化PMD也就是CPU核(CPU core)的分配，充分应对虚拟网卡的增减，网络波动或突发流量，实现虚拟化中DPDK网络资源的合理利用和高性能网络。通过监控、分配、调整网卡收发队列和CPU core的对应关系，以达到CPU资源的合理利用，避免产生CPU资源利用不合理的情况，从而影响网络性能。最终在虚拟化中实现CPU资源的合理利用，实现DPDK高性能网络。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

DPDK Data Plane Devel opment Kit数据平面开发套件

PMD Poll Mode Driver)主动轮询

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种虚拟化DPDK网络性能提高系统。

如图1所示，该方法100包括：

步骤110，采集所有网卡的队列收发量；

步骤120，根据每个网卡的队列收发量计算每个队列的CPU资源使用率；

步骤130，按CPU资源使用率由大到小对所有队列进行排序；

步骤140，按队列顺序依次将队列分配至空闲CPU核，直至无空闲CPU核，所述CPU核上承载PMD线程；

步骤150，将剩余队列平均分配至所有CPU核。

具体的，所述虚拟化DPDK网络性能提高方法包括：

S1、PMD自动分配过程。

DPDK开启后，会以分钟为单位，监控虚拟化网卡中虚拟网卡、物理网卡队列的收发情况计算出每个队列的CPU资源使用率(以百分比表示)，按照使用率从大到小进行排序，然后根据不同的算法进行自动分配。PMD自动分配可以采用以下两种算法中的任意一种：

算法一：统计所有的网卡(包含物理网卡和虚拟网卡)以及他们的队列数，按照网卡索引值和队列索引值从小到大排序，然后根据顺序均匀分配到所有的CPU core上。这种算法的优势是不考虑实际的流量情况，可以实现快速的资源分配，但是容易出现CPU使用率不均衡的情况。

算法二：因为每个PMD会对应一个CPU core，根据所有队列CPU资源使用情况，将每个队列从大到小对应到每一个CPU core。当CPU core数量大于队列数时，每个队列都会拥有自己独立的CPU资源可以使用；当CPU core数量小于队列数时，多出的队列需要平均分配到每个CPU core上。这种算法的优势是可以根据实际流量进行资源的合理分配调度，但是需要1分钟的时间统计资源使用率，无法实现快速应对。

S2、PMD自动调整过程。

本实施例中PMD初始分配采用算法一，自动调整过程采用算法二。在虚拟化环境使用一段时间之后，可能存在虚拟机开关机，或者某些虚拟机流量增加，有些虚拟机流量减少的情况，这个时候就需要对原有的PMD分配状况进行重新调整，调整方法采用上述算法二。因为每次对PMD资源的再分配都会消耗较多的CPU资源并对原有流量产生短暂影响，所以调整设置为用户自定义方式，增加调整时间间隔和是否自动调整选择，用户可以根据环境实际使用情况设定时间间隔，并决定是自动调整还是手动调整。

S3、PMD资源扩展过程。

每台主机上，承载的虚拟机是不同的，每台虚拟机的流量也不同，对于每台主机的PMD资源，在虚拟机增加或者流量增加的情况下，可能会出现所有CPU core实际使用率均达到100％的情况，这种情况下就需要扩展PMD资源，也就是增加可用CPU core。监控所有PMDCPU的实际使用情况，当所有CPU的使用情况达到90％以上，并且持续时间达到阈值，就需要增加可用CPU core。时间阈值和新增CPU core均需要用户自己设定。在界面增加DPDK参数配置选项，可以重新设定DPDK使用的CPU core。

S4、PMD资源绑定过程。

在界面增加PMD绑定设置选项，允许用户对网络队列(虚拟队列或物理队列)和PMD之间的一对一绑定或多对一绑定，允许一个或者多个队列运行在同一个PMD的CPU core上，并且无法被其他网络队列使用。

如图2所示，该系统200包括：

收发采集单元210，配置用于采集所有网卡的队列收发量；

资源计算单元220，配置用于根据每个网卡的队列收发量计算每个队列的CPU资源使用率；

队列排序单元230，配置用于按CPU资源使用率由大到小对所有队列进行排序；

队列分配单元240，配置用于按队列顺序依次将队列分配至空闲CPU核，直至无空闲CPU核，所述CPU核上承载PMD线程；

平均分配单元250，配置用于将剩余队列平均分配至所有CPU核。

可选地，作为本发明一个实施例，所述系统还包括：

资源监控单元，配置用于监控集群CPU使用率；

繁忙计时单元，配置用于对处于繁忙状态的CPU计时；

图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的虚拟化DPDK网络性能提高方法。

其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明能够在多台虚拟机或者多个网卡队列情况下，优化PMD也就是CPUcore的分配，充分应对虚拟网卡的增减，网络波动或突发流量，实现虚拟化中DPDK网络资源的合理利用和高性能网络。通过监控、分配、调整网卡收发队列和CPU core的对应关系，以达到CPU资源的合理利用，避免产生CPU资源利用不合理的情况，从而影响网络性能。最终在虚拟化中实现CPU资源的合理利用，实现DPDK高性能网络，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种虚拟化DPDK网络性能提高方法，其特征在于，包括：

采集所有网卡的队列收发量；

根据每个网卡的队列收发量计算每个队列的CPU资源使用率；

按CPU资源使用率由大到小对所有队列进行排序；

将剩余队列平均分配至所有CPU核；

所述方法还包括：

根据所述队列索引顺序对队列进行初始CPU核分配。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

设置调度周期；

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监控集群CPU使用率；

若所有CPU使用率均达到预设阈值，则判定CPU处于繁忙状态；

对处于繁忙状态的CPU计时；

4.根据权利要求1所述的方法，其特征在于，所述方法包括：

不再向带有已绑定标记的CPU核分配非绑定队列。

5.一种虚拟化DPDK网络性能提高系统，其特征在于，包括：

收发采集单元，配置用于采集所有网卡的队列收发量；

平均分配单元，配置用于将剩余队列平均分配至所有CPU核；

所述系统还包括：

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

资源监控单元，配置用于监控集群CPU使用率；

繁忙计时单元，配置用于对处于繁忙状态的CPU计时；

7.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。