CN113220467B - 基于内存吞吐的dpdk性能极限推算方法和相关设备 - Google Patents

Abstract

本发明提供一种基于内存吞吐的DPDK性能极限推算方法，包括：获取所需推算的硬件系统的内存子系统的读内存吞吐量x；获取所需推算的硬件系统的内存子系统的写内存吞吐量y；基于公式z＝1/(1/x+1/y)计算得到所需推算的硬件系统的理论极限吞吐量z。提供了一种能够计算硬件系统的理论极限吞吐量的计算方案。

Description

基于内存吞吐的DPDK性能极限推算方法和相关设备

技术领域

本发明涉及计算机技术领域，具体涉及一种基于内存吞吐的DPDK性能极限推算方法、装置和电子设备。

背景技术

快速处理数据包(Data Plant Development Kit，以下简称DPDK)是Intel公司推出的一种适用于多种CPU和网卡平台的高吞吐网络应用开发包，也是一种基础网络应用软件。本文设计了一种，基于内存读写吞吐值来推算，相应硬件平台(即CPU和网卡)的DPDK等数据量收发应用的极限吞吐的方法。

DPDK全称IntelData Plane Development Kit，是intel提供的数据平面开发工具集，为Intelarchitecture(IA)处理器架构下用户空间高效的数据包处理提供库函数和驱动的支持。通俗地说，就是一个用来进行包数据处理加速的软件库。DPDK不同于Linux系统以通用性设计为目的，而是专注于网络应用中数据包的高性能处理。具体体现在DPDK应用程序是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了Linux内核协议栈对数据包处理过程。

目前，DPDK广泛用于各种高吞吐量的网络流量服务器中，是网络世界实现智能化的重要角色。DPDK服务器和相应应用的流量处理能力，或者说吞吐(单位Gbps或Mbps)，是衡量这个服务器能力的主要指标之一。

本领域技术人员在设计相应服务器硬件方案(CPU、网卡等形成的综合方案)时，就需要评估相应方案是否能够达到某一个吞吐指标；通常会在硬件生产完毕后，对其DPDK网络性能(单位Gbps)进行验证测试时，也希望能根据系统方案本身推算出一个DPDK性能的理论极限值，从而和测试值进行比对，进而指导后续的性能优化工作。

在一个特定的硬件系统上，DPDK网络处理性能最终的测试值受到系统中多种瓶颈的影响。在很多现实案例中，DDR内存的吞吐能力是制约DPDK性能的重要因素。其他的潜在制约性能的因素包括PCIe带宽、CPU处理能力等等，不在本文涵盖之列。

就目前没有现成的工具来基于DDR内存子系统的吞吐推算DPDK理论极限性能。

发明内容

有鉴于此，本发明实施例提供一种，以实现。

为实现上述目的，本发明实施例提供如下技术方案：

基于上述技术方案，本发明实施例提供的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的基于内存吞吐的DPDK性能极限推算方法的流程示意图；

图2为本申请实施例公开的基于内存吞吐的DPDK性能极限推算装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了实现被推算的硬件系统的性能极限推算，本申请公开了一种基于内存吞吐的DPDK性能极限推算方法，参见图1，该方法包括：

步骤S101：获取所需推算的硬件系统的内存子系统的读内存吞吐量x；

步骤S102：获取所需推算的硬件系统的内存子系统的写内存吞吐量y；

DPDK网卡收发包是一个真实的物理全双工模型。这是因为，现代的网络接口一般均为物理全双工接口，其收包和发包方向的硬件线路是分开的，各自的运行不受对方的影响或限制。

因此，这里需要论述一下，在某个硬件系统中，DPDK收发包和内存读写的关系，从而便于推导出后面两者的量化关系。

DPDK的收包方向，其收到的包，一般由网卡转给PCIe Core，PCIe Core将数据写入内存。也就是说，DPDK收包方向上，收到多少数据量的包，就会向内存写入多少数据量。

DPDK的发包方向，一般来说，PCIe Core从内存中读取要发送的包，将包转给网卡，由网卡发出。也就是说，DPDK发包方向上，需要发出去多少数据量的包，就会从内存读取多少数据量。

总结起来，也就是说单位时间段内DPDK收发两个方向的数据量，各自大致等于其对内存的写入数据量和读出数据量。

DPDK的吞吐假设为z，是指其在单位时间内收发数据均为z。也就是说，单位时间内，DPDK所收进的数据加上所发出的数据，总和其实是2z。这是由全双工数据收发的吞吐定义所决定的。

在本方案中，为了获取所需推算的硬件系统的内存子系统的读内存吞吐量x和写内存吞吐量y，可以将所述硬件系统的内存子系统作为一个时分复用的半双工信道来进行建模，假定单位时间长度内硬件系统的CPU只对内存做读操作或写操作，从而计算得到所述硬件系统的内存子系统的读内存吞吐量x和写内存吞吐量y。

在实际硬件系统中，硬件系统的内存子系统往往由多个内存控制器组成。在某个时间段内，各个内存控制器可以各自处于读内存或写内存的不同状态。这时，该时间段内写内存或者读内存的速率并非是读写各自的最高吞吐值。比如，该时间段内，硬件系统中一半的内存控制器处于读内存状态，另一半内存控制器处于写内存状态，那么读内存的速率大致仅是该系统读内存最高吞吐的一半，写内存的方向也是一样。因此，为了测量被测硬件系统在单位时间段内的最大读内存吞吐量和写内存吞吐量，在本方案中，基于将内存子系统作为一个时分复用的半双工信道来分析，可以定义：

在单位时间段内，硬件系统(由CPU、内存、网卡等组成)的所有内存控制器均处于读内存状态，所读的数据量除以单位时间段，即为该硬件系统的“读内存吞吐量”。

在单位时间段内，硬件系统的所有内存控制器均处于写内存状态，所读的数据量除以单位时间段，即为该硬件系统的“写内存吞吐量”。

举例来说，某硬件系统在大为时间段1秒钟内，其所有的内存控制器均处于读内存状态，所读的数据量为26000MB，那么该硬件系统的“读内存吞吐”即为26000MB/s＝26GB/s，其所有的内存控制器均处于写内存状态，所写的数据量为26000MB，那么该硬件系统的“读内存吞吐”即为26000MB/s＝26GB/s。

步骤S103：基于公式z＝1/(1/x+1/y)计算得到所需推算的硬件系统的理论极限吞吐量z。

在本方案中，假设上述硬件系统的内存子系统的读内存吞吐量(单位时间段内CPU只对内存做读操作)和写内存吞吐量(单位时间段内CPU只对内存做读操作)假定分别是x和y(所述x和y的单位可以是MB/s或GB/s之类的)，DPDK的等数据量全双工收发应用的理论极限吞吐为z。那么在内存角度，z数据量对整个内存系统分时使用完成读写，总时间量为1(即单位时间段)，所以有：

z/x+z/y＝1；

也就可以得出z：

z＝1/(1/x+1/y)

比如硬件系统的内存子系统的读内存吞吐为10000MB/s，写内存吞吐为20000MB/s，那么DPDK应用的理论极限吞吐就是1/(1/10000+1/20000)＝6667MB/s＝53.3Gbps；

在本方案中，上述硬件系统可以通过获取到的控制指令使得自身在读内存状态和写内存状态之间切换，以便获取所述硬件系统的读内存吞吐量x和写内存吞吐量y，由此，上述方案中，所述获取所需推算的硬件系统的内存子系统的读内存吞吐量x，包括：在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于读内存状态，基于所读取的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的读内存吞吐量x。

所述获取所需推算的硬件系统的内存子系统的写内存吞吐量x，包括：在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于写内存状态，基于所写入的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的写内存吞吐量y。

在本申请上述方案中，用户可以依据自身需求设置所述单位时间段的长短，该单位时间段的长短可以基于用户输入的操作执行进行动态调整。

现有技术中在设计相应服务器硬件方案(CPU、网卡等形成的综合方案)时，就需要评估相应方案是否能够达到某一个吞吐指标；我们在硬件生产完毕，采用本申请上述实施例公开的技术方案对其DPDK网络性能(单位Gbps)进行验证测试时，也希望能根据系统方案本身推算出一个DPDK性能的理论极限值，从而和测试值进行比对，进而指导后续的性能优化工作。

目前是缺乏这样一种DPDK理论极限值的推算方法的，而本文提供了这样一种方案，方案内容参见上文所示，本方案给出了相关量化推算关系。所推算出的DPDK全双工理论极限值，可以用于：

在设计阶段评估目标系统的DPDK吞吐是否能够达到预期，以及是否有裕量这类问题

在硬件调试测试阶段，推算出一个DPDK性能的理论极限值，从而和测试值进行比对，进而指导后续的性能优化工作。

本实施例中公开了一种基于内存吞吐的DPDK性能极限推算装置，装置中的各个单元的具体工作内容，请参见上述方法实施例的内容，

下面对本发明实施例提供的基于内存吞吐的DPDK性能极限推算装置进行描述，下文描述的基于内存吞吐的DPDK性能极限推算装置与上文描述的基于内存吞吐的DPDK性能极限推算方法可相互对应参照。

参见图2，上述装置可以包括：

数据采集单元100，用于获取所需推算的硬件系统的内存子系统的读内存吞吐量x；获取所需推算的硬件系统的内存子系统的写内存吞吐量y；

计算单元200，用于：基于公式z＝1/(1/x+1/y)计算得到所需推算的硬件系统的理论极限吞吐量z。

与上述方法相对应，所述数据采集单元在获取所需推算的硬件系统的内存子系统的读内存吞吐量x时，具体用于：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于读内存状态，基于所读取的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的读内存吞吐量x。

与上述方法相对应，所述数据采集单元在获取所需推算的硬件系统的内存子系统的写内存吞吐量x时，具体用于：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于写内存状态，基于所写入的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的写内存吞吐量y。

与上述方法相对应，上述装置还包括：

时长配置单元，用于基于用户输入的操作指令设置所述单位时间段的长短。

对应于上述装置，本申请还公开了一种电子设备，该电子设备应用有上述任意一项所述的基于内存吞吐的DPDK性能极限推算装置。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于内存吞吐的DPDK性能极限推算方法，其特征在于，包括：

获取所需推算的硬件系统的内存子系统的读内存吞吐量x；

获取所需推算的硬件系统的内存子系统的写内存吞吐量y；

基于DPDK的等数据量全双工收发应用的理论极限吞吐，应用公式z＝1/(1/x+1/y)计算得到所需推算的硬件系统的理论极限吞吐量z；

所述获取所需推算的硬件系统的内存子系统的读内存吞吐量x，包括：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于读内存状态，基于所读取的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的读内存吞吐量x；

所述获取所需推算的硬件系统的内存子系统的写内存吞吐量y，包括：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于写内存状态，基于所写入的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的写内存吞吐量y。

2.根据权利要求1所述的基于内存吞吐的DPDK性能极限推算方法，其特征在于，还包括：

基于用户输入的操作指令设置所述单位时间段的长短。

3.一种基于内存吞吐的DPDK性能极限推算装置，其特征在于，包括：

数据采集单元，用于获取所需推算的硬件系统的内存子系统的读内存吞吐量x；获取所需推算的硬件系统的内存子系统的写内存吞吐量y；

计算单元，用于：基于DPDK的等数据量全双工收发应用的理论极限吞吐，应用公式z＝1/(1/x+1/y)计算得到所需推算的硬件系统的理论极限吞吐量z；

所述数据采集单元在获取所需推算的硬件系统的内存子系统的读内存吞吐量x时，具体用于：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于读内存状态，基于所读取的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的读内存吞吐量x；

所述数据采集单元在获取所需推算的硬件系统的内存子系统的写内存吞吐量y时，具体用于：

在单位时间段内，控制所需推算的硬件系统的所有内存控制器均处于写内存状态，基于所写入的数据量以及所述单位时间段的时间长度计算得到所需推算的硬件系统的写内存吞吐量y。

4.根据权利要求3所述的基于内存吞吐的DPDK性能极限推算装置，其特征在于，还包括：

时长配置单元，用于基于用户输入的操作指令设置所述单位时间段的长短。

5.一种电子设备，其特征在于，具有权利要求3-4任意一项所述的基于内存吞吐的DPDK性能极限推算装置。

Images