CN107368178A - 基于dpdk数据包处理平台的功耗优化方法 - Google Patents

Abstract

本发明公开了一种基于DPDK数据包处理平台的功耗优化方法，包括以下步骤：设置非统一内存访问架构NUMA中，网卡与物理CPU的亲和性；设置该物理CPU中，逻辑核的亲和性；对每个逻辑核进行电压频率调节优化功耗；根据网口速率，进一步动态调节对应逻辑核的频率，以达到优化的节能效果。本发明在数据包处理领域，提供了一种使用CPU亲和性的方法，使服务器在进行数据包的发送、分类转发时，能够在保证高性能的同时降低功耗，对网络设备实现绿色计算具有重要的实用价值。

Description

基于DPDK数据包处理平台的功耗优化方法

技术领域

本发明涉及网络数据包处理平台的节能领域，特别是一种基于DPDK数据包处理平台的功耗优化方法。

背景技术

计算机网络目前处于一个飞速发展的阶段，网络传输速率正从10Gbps向40Gbps、100Gbps迈进。随着网络数据包处理服务器硬件技术的不断发展，软件平台也在不断创新。

在硬件上，CPU访问网卡的机制，从早期的中断技术，发展到中断加轮询，到如今，已出现基于多核CPU的纯轮询机制，进一步提高了数据包处理性能，使软件发包器可达到硬件发包器的线速高性能。在CPU访问内存的机制上，从早期的统一内存访问架构(UniformMemory Access，UMA)发展为非统一内存访问架构(Non-Uniform Memory Access，NUMA)，从而解决了内存访问的性能瓶颈。

在软件上，以通用的数据包发包器为例，从早期使用系统网卡驱动，基于socket接口发包的Netperf、Iperf，发展到可集成在系统内核中发包的Pktgen，再到能使用自定义网卡驱动代替系统驱动的Netmap、DPDK，新的软件平台基于新一代的硬件服务器提供了越来越高的数据包处理性能。

然而，网络数据包处理平台在通过这些新的软硬件技术实现高性能的同时，也付出了高能耗的代价。纯轮询机制是使用多核CPU不停地轮询网卡，虽然实现了对数据包的高性能处理，但是却可过多的占用CPU资源，导致功耗上的浪费。在非统一内存访问架构中，CPU在访问处于本地NUMA节点内的网卡时，效率很高，但是在访问远端NUMA节点中的网卡时，效率会下降，也导致硬件资源及功耗上的浪费。

当前在网络数据包处理平台领域，实现高性能吞吐率是最主要的研究点，但是绿色计算也是下一代网络发展中的重要一环。因此，基于新的数据包处理硬件、软件平台，研究既可保证高性能，又避免能耗浪费的节能方法具有重要的实际应用价值。

发明内容

本发明旨在提供一种基于DPDK数据包处理平台的功耗优化方法，在保证高性能的同时，避免浪费过多的功耗。

为解决上述技术问题，本发明所采用的技术方案是：一种基于DPDK数据包处理平台的功耗优化方法，包括以下步骤：

1)设置非统一内存访问架构NUMA亲和性，获取网卡所在PCI-E插槽的编号，查找对应的CPU，使网卡与要指定工作的物理CPU处于同一个NUMA节点中；

2)设置所述物理CPU中逻辑核的亲和性，使数据包处理进程固定在指定的CPU逻辑核上；

3)对所有CPU的每个逻辑核进行初始化电压频率调节，设置工作逻辑核的频率处于Performance模式，即工作逻辑核处于高性能状态；设置闲置逻辑核的频率处于Powersave模式，即闲置逻辑核进入低功耗状态；

4)分配工作逻辑核到每个网口，在系统实际运行中，根据每个网口的网络数据包到达速率，动态调节与该网口对应的工作逻辑核运行频率，即把低速网口对应的工作核频率从具有最高功耗的Performance模式，降为功率相对较低的Conservative模式，以达到进一步优化的节能效果。

步骤2)的具体实现过程包括：

1)对于与网卡处于同一NUMA节点的CPU，列举出可用的逻辑核；

2)测试在保证网络数据包处理实现最高吞吐率情况下，所需要的最少逻辑核数量，定为工作逻辑核；

3)设置这批工作逻辑核在操作系统中处于硬隔离状态，并保证这批逻辑核不被操作系统的其它任务调用；

4)设置包处理程序的亲和性掩码，将包处理程序指定在这批CPU逻辑核上运行，并设置每个网口对应的逻辑核编号。

步骤3)中，电压频率调节的模式包括：

Performance模式，逻辑核的工作频率为最高值，性能最高，同时功耗也最高；

Ondemand模式，当CPU核有计算任务时，达到最高频率，任务执行完后回到最低频率，适用于中高端CPU；

Conservative模式，当CPU核有计算任务时，逐步升高频率，任务执行完后，逐步降低频率；

Powersave模式，逻辑核的工作频率为最低值，性能最低，同时功耗也最低；

Userspace模式，用户自定义模式。

步骤4)中，动态调节的规则如下：如果网口的数据包到达速率是网线线速理论速率值的75％以上，则设置对应逻辑核的工作频率为Performance模式；如果网口的数据包到达速率阈值在线速理论值的25％到75％，则设置运行频率为系统默认模式；如果网口的数据包到达速率低于线速理论值的25％，设置运行频率为Powersave节能模式。

相应地，本发明还提供了一种基于DPDK数据包处理平台的功耗优化系统，其包括：

第一设置单元：用于设置非统一内存访问架构NUMA亲和性，获取网卡所在PCI-E插槽的编号，查找对应的CPU，使网卡与要指定工作的物理CPU处于同一个NUMA节点中；

第二设置单元：用于设置所述物理CPU中逻辑核的亲和性，使数据包处理进程固定在指定的CPU逻辑核上；

第一调节单元：用于对所有CPU的每个逻辑核进行初始化电压频率调节，设置工作逻辑核的频率处于Performance模式，即工作逻辑核处于高性能状态；设置闲置逻辑核的频率处于Powersave模式，即闲置逻辑核进入低功耗状态；

第二调节单元：用于分配工作逻辑核到每个网口，在系统实际运行中，根据每个网口的网络数据包到达速率，动态调节与该网口对应的工作逻辑核运行频率，即把低速网口对应的工作核频率从具有最高功耗的Performance模式，降为功率相对较低的Conservative模式，以达到进一步优化的节能效果。

与现有技术相比，本发明所具有的有益效果为：本发明提供了一种基于DPDK数据包处理平台的功耗优化方法，结合CPU亲和性的特点，在逻辑核层次进行细粒度的动态电压频率调节控制，能够在保证高性能的同时，避免浪费过多的功耗；在数据包处理领域，对网络数据包处理平台使用DPDK实现高性能，并利用CPU亲和性实现低功耗的绿色计算具有重要的实用价值。

附图说明

图1为本发明方法的步骤设置示意图；

图2为本发明的架构模块图；

图3是使用多种发包平台的速率对比图；

图4是使用多种发包平台的CPU功率对比图；

图5(a)～图5(d)是使用不同CPU亲和性策略的性能对比图；图5(a)为功率比较；图5(b)为速率比较；图5(c)为延迟比较；图5(d)为抖动比较；

图6是使用不同CPU亲和性与频率调节策略的速率对比图；

图7是使用不同CPU亲和性与频率调节策略的功率对比图；

图8是本发明方法与已有节能方法的对比图。

具体实施方式

参考图1，本发明包括以下步骤：

步骤1，针对硬件平台，设置NUMA亲和性。即先获取网卡所在PCI-E插槽的编号，查找对应的CPU，使网卡与要指定工作的物理CPU处于同一个NUMA节点中，避免CPU要跨NUMA节点访问资源；

步骤2，针对硬件平台，设置CPU亲和性。即设置与网卡在同一NUMA节点中CPU逻辑核的亲和性，先在操作系统中做硬隔离设置，再到程序中设置要工作的逻辑核掩码，使数据包处理进程固定在指定的CPU逻辑核上，避免被操作系统其它进程调用而影响性能；

步骤3，针对软件算法，设置电压频率调节。即对所有CPU的每个逻辑核进行电压频率调节，使指定工作的逻辑核处于高性能状态，闲置的逻辑核处于低功耗状态，从更细粒度的层次，对CPU中每个逻辑核进行功率优化；

步骤4，针对软件算法，根据速率动态调频。即在实际运行中，根据网络数据包到达网口的速率，进一步动态调节与该网口设置了亲和性逻辑核的运行频率，对于低速网口，则降低对应绑定逻辑核的频率，以达到优化的节能效果。针对高性能与低功耗的目标，进行一个不断动态调整的过程，从而达到优化的节能效果。

参考图2，是本发明的架构模块图。在硬件平台上，主要是设置NUMA与CPU的亲和性。在软件算法上，主要是从逻辑核层次，根据工作状态与负载情况，动态调节频率及功耗。

参考图3，是使用多种发包平台的速率对比图。可以看到Pktgen-DPDK、MoonGen-DPDK、以及Netmap这三个程序都能够实现接近线速理论值的高性能。

参考图4，使用多种发包平台的CPU功率对比图。可以看到Pktgen-DPDK、MoonGen、Netmap三个接近线速理论值的程序作对比，Pktgen-DPDK功耗最低。

参考图5(a)～图5(d)，是使用不同CPU亲和性策略的性能对比图。在横坐标，当CPU逻辑核设置为[0,2,4,6,8]时，表示指定工作的CPU逻辑核与网卡处于同一个NUMA节点。可以看出，设置了CPU亲和性后，速率性能会提升，功率还能进一步下降。

参考图6，是使用不同CPU亲和性与频率调节策略的速率对比图。可以看到当设置逻辑核为具有CPU亲和性的[0,2,4...16]时，速率都能达到最高，但是改变频率模式，对速率却不会有较大的影响。

参考图7，是使用不同CPU亲和性与频率调节策略的功率对比图。可以看到，CPU逻辑核与频率模式的设置参数都与参考图6相同，当对根据CPU亲和性逻辑核的工作特点进行电压频率优化调整后，即动态调节一项，具有最低的功耗。即在保证同等高性能的情况下，使用本发明的方法还可降低11％的功耗。

参考图8，是本发明方法与已有节能方法的对比图。AFFCON(AFfinity-orientedFine-grained CONtrolling)表示本发明的亲和性细粒度控制方案，横坐标表示当前网口速率是线速理论值的百分比，可以看到在根据网口速率进行动态调频控制功率时，AFFCON方案功率最低。

本发明提供了一种基于DPDK数据包处理平台功耗优化方法，利用CPU亲和性特点，通过监控网口速率，进行动态电压频率调节，从更细粒度进行节能控制，是一种新的思路，实施例子也证实了此方法的有效性和可行性。

Claims (5)

1.一种基于DPDK数据包处理平台的功耗优化方法，其特征在于，包括以下步骤：

1)设置非统一内存访问架构NUMA亲和性，获取网卡所在PCI-E插槽的编号，查找对应的CPU，使网卡与要指定工作的物理CPU处于同一个NUMA节点中；

2)设置所述物理CPU中逻辑核的亲和性，使数据包处理进程固定在指定的CPU逻辑核上；

3)对所有CPU的每个逻辑核进行初始化电压频率调节，设置工作逻辑核的频率处于Performance模式，即工作逻辑核处于高性能状态；设置闲置逻辑核的频率处于Powersave模式，即闲置逻辑核进入低功耗状态；

4)分配工作逻辑核到每个网口，在系统实际运行中，根据每个网口的网络数据包到达速率，动态调节与该网口对应的工作逻辑核运行频率，即把低速网口对应的工作核频率从具有最高功耗的Performance模式，降为功率相对较低的Conservative模式，以达到进一步优化的节能效果。

2.根据权利要求1所述的基于DPDK数据包处理平台的功耗优化方法，其特征在于，步骤2)的具体实现过程包括：

1)对于与网卡处于同一NUMA节点的CPU，列举出可用的逻辑核；

2)测试在保证网络数据包处理实现最高吞吐率情况下，所需要的最少逻辑核数量，定为工作逻辑核；

3)设置这批工作逻辑核在操作系统中处于硬隔离状态，并保证这批逻辑核不被操作系统的其它任务调用；

4)设置包处理程序的亲和性掩码，将包处理程序指定在这批CPU逻辑核上运行，并设置每个网口对应的逻辑核编号。

3.根据权利要求1所述的基于DPDK数据包处理平台的功耗优化方法，其特征在于，步骤3)中，电压频率调节的模式包括：

Performance模式，逻辑核的工作频率为最高值，性能最高，同时功耗也最高；

Ondemand模式，当CPU核有计算任务时，达到最高频率，任务执行完后回到最低频率，适用于中高端CPU；

Conservative模式，当CPU核有计算任务时，逐步升高频率，任务执行完后，逐步降低频率；

Powersave模式，逻辑核的工作频率为最低值，性能最低，同时功耗也最低；

Userspace模式，用户自定义模式。

4.根据权利要求3所述的基于DPDK数据包处理平台的功耗优化方法，其特征在于，步骤4)中，动态调节的规则如下：如果网口的数据包到达速率是网线线速理论速率值的75％以上，则设置对应逻辑核的工作频率为Performance模式；如果网口的数据包到达速率阈值在线速理论值的25％到75％，则设置运行频率为系统默认模式；如果网口的数据包到达速率低于线速理论值的25％，设置运行频率为Powersave节能模式。

5.一种基于DPDK数据包处理平台的功耗优化系统，其特征在于，包括：

第一设置单元：用于设置非统一内存访问架构NUMA亲和性，获取网卡所在PCI-E插槽的编号，查找对应的CPU，使网卡与要指定工作的物理CPU处于同一个NUMA节点中；

第二设置单元：用于设置所述物理CPU中逻辑核的亲和性，使数据包处理进程固定在指定的CPU逻辑核上；

第一调节单元：用于对所有CPU的每个逻辑核进行初始化电压频率调节，设置工作逻辑核的频率处于Performance模式，即工作逻辑核处于高性能状态；设置闲置逻辑核的频率处于Powersave模式，即闲置逻辑核进入低功耗状态；

第二调节单元：用于分配工作逻辑核到每个网口，在系统实际运行中，根据每个网口的网络数据包到达速率，动态调节与该网口对应的工作逻辑核运行频率，即把低速网口对应的工作核频率从具有最高功耗的Performance模式，降为功率相对较低的Conservative模式，以达到进一步优化的节能效果。