CN105022671A - 一种用于流式数据并行处理的负载均衡方法 - Google Patents

Abstract

本发明提供一种用于流式数据并行处理的负载均衡方法，其中用于流式数据并行处理的并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，所述负载均衡方法包括：1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；所述i为1至N-1中的任意一个整数。本发明能够实现流水线构架内部的负载均衡，能够显著降低流水线中各个线程的缓冲队列长度，能够降低流水线中各个线程的缓冲队列长度的波动幅度以及各个线程缓冲队列长度之间的差异。

Description

一种用于流式数据并行处理的负载均衡方法

技术领域

本发明涉及流式数据并行处理技术领域，具体地说，本发明涉及一种用于流式数据并行处理的负载均衡方法。

背景技术

流式数据处理包括：网络数据包处理(下文中简称为数据包处理)、视频流处理、文本处理、消息处理等。网络规模和服务复杂度不断增长，传统的流式数据处理技术已经无法满足高速网络带来的性能需求，基于多核处理器的流式数据并行处理技术的应用和推广已经成为了新的趋势。下面以数据包处理为例简要介绍基于多核处理器的流式数据并行处理技术。图1示出了现有技术中一个通用的数据包多核并行处理架构。参考图1，在这个数据包多核并行处理架构中，每个处理器核上都绑定了一个处理线程，所有处理线程共同构成了一个并行流水线布局。输入的数据包从流水线第一级开始，经过层层处理和中间调度，最终抵达流水线最后一级。在实际应用中，系统的流水线级数和每级流水线的线程个数通常都是可调整的。

另一方面，在并行处理技术领域，为了让数据包处理任务充分并行化，每个处理线程的数据包负载需要尽可能均衡，否则会出现只有部分处理线程繁忙而其他处理线程空闲的情况，造成处理资源的浪费。此外，负载不均衡还有可能造成部分处理线程的过载(例如数据包队列溢出)。所谓负载均衡，就是一个将待处理的负载按照“处理难度”进行划分，然后按照处理线程的“处理能力”进行均匀分配的过程。现有的网络流量负载均衡方法主要有两类，第一类是在数据包的源头——网卡上进行硬件负载均衡，第二类是在网卡与数据包处理应用之间的中间平台——操作系统上进行软件负载均衡。下面分别介绍这两种方法。

(1)网卡负载均衡

数据包处理设备常用的高性能网卡(Network Interface Card,NIC)一般都带有“多队列”(multi-queue)功能以支持多核并行处理。当网卡在接收数据包的时候，首先通过一个过滤器将不同的数据包送到不同的接收队列(RX-queue)，而这些接收队列都是与不同的处理器核心绑定的，这样流量就分散到了不同的处理器核进行处理。这种在网卡层面所进行的多核流量负载均衡机制通常被称为RSS(Receive Side Scaling，接收端伸缩)。

在RSS机制下，网卡使用一个Hash函数对输入数据包头部的某些字段计算Hash值，并将结果取余后去索引一个间接转发表(Indirection Table)，最终匹配到一个特定的队列去处理。常见的RSS硬件实现中每个间接转发表都有128个条目，每个条目中存储着一个队列号。一些高级的网卡还允许基于可编程的过滤器来分配数据包，例如将端口号为80的TCP包导向Web服务器所在的处理器核对应的队列。这种N元组过滤器可以通过ethtool工具的“--config-ntuple”选项进行配置。用于计算Hash值的字段通常是可以唯一标识一条网络流的五元组(源IP地址、目的IP地址、源端口、目的端口、传输层的协议类型)，这样同一条网络流的数据包就能够被分配到同一队列去处理，保证处理的局部性和有序性。

基于RSS机制的网卡负载均衡，在硬件层面上实现了网络流量与多核之间的负载分配，并且具备简单的处理逻辑和较高的处理性能。然而，网卡负载均衡也存在着很明显的局限性。一方面，后端的数据包处理应用对于网卡硬件来说是不可见的，因此网卡负载均衡无法考虑到数据包处理应用的特殊需求；另一方面，RSS机制只支持静态的Hash均衡算法，在动态的网络流量下很容易造成负载不均衡。

(2)操作系统负载均衡

操作系统负载均衡有两种情况，第一种是在网卡只支持单队列时替代RSS实现多核负载均衡，另一种则是在已有的多队列基础上，为多队列中的数据包和处理器核心进行重新映射。其中，第二种情况下，考虑到操作系统能够获取到数据包处理应用的相关信息，因此进行重新映射可以提升实际的负载均衡效果(例如把数据包重新分配到其对应的程序所在的处理器核)。

基于操作系统的网络流量负载均衡在最近几年已经得到了广泛应用。以Linux操作系统为例，其较新版本(2.6.35以后)的网络协议栈中包含了两种网络流量多核负载均衡机制，分别称为RPS(Receive Packet Steering，接收端数据包引导)和RFS(Receive Flow Steering，接收端网络流引导)。从实现逻辑上看，RPS就是RSS的一种软件实现，而RFS则在RPS基础上考虑了应用程序的局部性，以实现更好的实际负载均衡效果。

相比网卡负载均衡来说，在操作系统层面实施负载均衡更加灵活，例如用户可以自定义Hash函数和计算覆盖的字段等。然而，操作系统负载均衡也无法从根本上避免与网卡负载均衡类似的两点局限性。一方面，虽然操作系统作为宿主能够了解运行在其中的数据包处理应用的某些特性(如线程数目)，但由于操作系统内核与应用程序是隔离的，无法针对应用程序内部具体结构进行负载均衡。另一方面，从实现机制上看，操作系统负载均衡的两种机制RPS和RFS，与RSS类似也都是通过计算数据包的Hash来分配到特定的队列去处理，这种分配方式有时并不适合网络数据流等流式数据的处理。

发明内容

因此，本发明的任务是提供一种特别适合于流式数据并行处理的负载均衡解决方案。

根据本发明的一个方面，提供了一种用于流式数据并行处理的负载均衡方法，所述流式数据并行处理基于并行流水线实现，所述并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，令i的初始值为1，所述用于流式数据并行处理的负载均衡方法包括下列步骤：

1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；

2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；

3)将所述第i+1级处理线程视为第i级处理线程重新执行步骤1)，直至第N级处理线程完成本级的数据处理得到最终数据。

其中，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度得出。

其中，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度的EWMA值得出。

其中，所述步骤2)中，t时刻的所述EWMA值E_t＝w·L_t+(1–w)·E_t-1，其中L_t表示t时刻的缓冲队列长度，E_t-1表示t-1时刻的EWMA值，w表示平稳因子。

其中，所述步骤2)中，t时刻的所述EWMA值E_t＝L_t>>1+E_t-1>>1；其中“>>”表示右移运算。

其中，所述步骤2)还包括：将所述的第i级中间数据包发送到具有最小EWMA值的第i+1级处理线程的缓冲队列。

其中，所述步骤2)包括下列子步骤：

21)接收一个第i级中间数据包；其中，i＝1,2…，N-1；

22)在全局流表中查找该第i级中间数据包所属的数据流，如果未找到，则执行步骤23)，如果找到，则直接根据所述全局流表的记录将所述的第i级中间数据包发送到相应的第i+1级处理线程的缓冲队列；所述全局流表记录已处理过的所有数据流及其所对应的在流水线中的处理路径；

23)更新所有第i+1级处理线程的缓冲队列在当前时刻下的EWMA值，选出EWMA值最小的第i+1级处理线程；

24)将所述第i级中间数据包发往步骤23)所选出的第i+1级处理线程的缓冲队列；回到步骤21)接收下一个第i级中间数据包。

其中，所述步骤24)还包括：根据步骤23)的选择更新所述全局流表中所述第i级中间数据包所对应数据流的表项。

其中，所述全局流表的每条表项记录数据流标识和该数据流在流水线中的处理路径，其中采用五元组作为数据流标识，五元组由源IP地址、目的IP地址、源端口、目的端口、传输层的协议类型构成。

与现有技术相比，本发明具有下列技术效果：

1、本发明能够实现流式数据并行处理中流水线构架内部的负载均衡。

2、本发明能够显著降低流水线中各个线程的缓冲队列长度。

3、本发明能够降低流水线中各个线程的缓冲队列长度的波动幅度。

4、本发明能够降低流水线中各个线程的缓冲队列长度之间的差异。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了现有技术中一个通用的数据包多核并行处理架构；

图2示出了本发明一个实施例中增加了负载均衡模块的多核并行处理架构的示例；

图3示出了本发明一个优选实施例中的EWMA负载均衡算法的流程图。

具体实施方式

发明人在进行数据包多核并行处理研究时，发现数据包并行处理存在以下两个特点：

1)网络流量的动态性。网络中流入的数据包内容都是随着时间动态变化的，不同时段下的网络流量成分都有巨大差异。因此，即便是在同一个处理线程下进行处理，其所处理的每个网络数据包的实际操作复杂度也可能是不一样的。由于网络数据的动态性，评估和预测待处理负载的“处理难度”变得异常困难，导致现有的网卡负载均衡和操作系统负载均衡方案均难以达到理想的效果。

2)处理线程的异构性。在数据包并行处理中，不同处理线程上执行的处理任务通常也不一样。例如在一个处理流水线中，第一级线程负责数据包解码，第二级线程负责深度包检测。即使是同一级流水线中，也可能存在任务分工，例如部分线程负责TCP协议处理，其它线程负责UDP协议处理。处理线程的异构性，造成了“处理能力”的不一致，而现有的负载均衡方案未考虑到这种不一致性。

基于上述分析，本发明的一个实施例提出了一种用于数据包并行处理的负载均衡方法，该方法基于数据包多核并行处理架构实现。图2示出了本发明一个实施例中增加了负载均衡模块的多核并行处理架构的示例。如前文所述，在数据包多核并行处理架构中，每个处理器核上都绑定一个处理线程，所有处理线程共同构成了一个并行流水线布局。输入的数据包从流水线第一级开始，经过层层处理，最终抵达流水线最后一级，进而完成数据包的处理。参考图2，本实施例中，在流水线内部的各级之间都设置一个负载均衡模块，用于为流水线的每一阶段都进行负载均衡。流水线共包含三级处理线程，因此流水线内部总共需要做两级负载均衡，即需要两个负载均衡模块(负载均衡模块Level 1和负载均衡模块Level 2)。前一级流水线的输出数据都会交给负载均衡器处理，然后通过一定的负载均衡算法进行分配，输出到下一级流水线的线程的输入队列中。此处输入队列实际上是指处理器核心的缓冲队列，由于流水线的每个线程都绑定了相应的处理器核心，所以处理器核心的缓冲队列可以看成相应线程的缓冲队列。图2中，每级流水线的线程个数并不完全一致，例如第二级线程的数目为四个，第一级和第三级线程的数目均为三个。本实施例中，通过流水线内部各级之间的负载均衡模块的处理，数据流的处理路径不一定是直线，例如某一数据流可能沿着图2中所示的灰色曲线这一路径完成数据处理。

基于图2所述的多核并行处理架构，本实施例提出了一种用于数据包并行处理的负载均衡方法，包括下列步骤：

步骤1：接收网络数据包，基于网卡负载均衡或者操作系统负载均衡技术将数据包分发到流水线第一级的各个线程。

步骤2：流水线第一级的各个线程完成本级数据处理，将所得的中间数据包传递给第一级负载均衡模块(负载均衡模块Level 1)。为便于描述，将第一级线程完成本级数据处理后所得到的中间数据包称为第一级中间数据包。

步骤3：第一级负载均衡模块接收到任意一个第一级中间数据包时，根据第二级的各个线程的负载状态，基于负载均衡算法选择一个第二级线程，将该第一级中间数据包传递给所选的第二级线程。

步骤4：第二级的各个线程完成本级数据包处理，将所得的中间数据包传递给第二级负载均衡模块(负载均衡模块Level 2)。为便于描述，将第二级线程完成本级数据处理后所得到的中间数据包称为第二级中间数据包。

步骤5：第二级负载均衡模块接收到任意一个第二级中间数据包时，根据第三级的各个线程的负载状态，基于负载均衡算法选择一个第三级线程，将该第二级中间数据包传递给所选的第三级线程。

上述步骤3和步骤5中，负载均衡模块可以是独立的软件模块，也可以是一个功能函数，当负载均衡模块是一个功能函数时，处理线程在完成本级数据处理后，通过调用负载均衡函数将所输入的中间数据包转发到合适的下一级处理线程的缓冲队列中。

上述步骤3和步骤5中，负载均衡算法可以直接使用现有网卡负载均衡或者操作系统负载均衡技术中所采用的负载均衡算法。这种方案下，由于设置了多级负载均衡模块，使得能够针对应用程序内部具体结构和实时负载状态及进行负载均衡，因此，在各个负载均衡模块直接使用现有的负载均衡算法时，也能够产生一定的优化效果，例如降低各级线程的缓冲队列长度，使同一级的各处理线程的流量负载更加均匀等。

如前文所述，流水线并行处理构架中具有网络流量的动态性和处理线程的异构性这两个特点，而以静态Hash算法为代表的现有负载均衡算法并未对此进行优化。因此，在本发明的一个优选实施例中，进一步给出了一种EWMA负载均衡算法，任意一级的负载均衡模块均可通过EWMA负载均衡算法为中间数据包选择所要发往的下一级线程，下面对其做详细描述。

图3示出了本发明一个优选实施例中的EWMA负载均衡算法的流程图，该流程包括下列步骤：

步骤101：中间数据包输入负载均衡模块。本步骤中，中间数据包可以是任意一级的中间数据包，负载均衡模块则是与中间数据包相应级别的负载均衡模块。

步骤102：通过在整个系统的全局流表中查找该中间数据包所属的数据流，判断当前中间数据包是否属于一条新的网络数据流，如果判断为是，则执行步骤103，如果判断为否，执行步骤105。其中，全局流表中记录已接收和处理过的所有数据流及其所对应的各个级别的处理线程。如前文所述，每个处理线程具有一个缓冲队列，只要记录处理线程的级别和在该级别中的缓冲队列序号，即可唯一的确定一个处理线程。因此，用各个级别的缓冲队列序号，即可表示出数据流在流水线中的处理路径。本实施例中，全局流表的每条表项记录数据流标识和该数据流在流水线中的处理路径，其中采用五元组作为数据流标识，五元组由源IP地址、目的IP地址、源端口、目的端口、传输层的协议类型构成。数据流在流水线中的处理路径用按顺序排列的各个级别的缓冲队列序号表示。表1示出了一个全局流表的示例。

表1

步骤103：更新下一级的所有线程的缓冲队列的EWMA值。

EWMA值全称为Exponentially Weighted Moving-Average，译为指数加权移动平均值。EWMA值是一种动态值，用E表示一个队列长度的EWMA值，用L表示队列的当前长度，则E的计算公式为：

E₁＝L₁＝0；当t>1时，E_t＝w·L_t+(1–w)·E_t-1   (1)

其中，w是一个0到1之间的常量，被称作平稳因子(smoothing factor)。当w为0时，E_t＝E_t-1，即E的值将一直维持初始值不变；w越高，则越旧的观测值在新的取值中所占的比例就下降的越快；而当w为1时，E_t＝L_t，旧的观测值已经没有影响，新值完全取决于当前队列的瞬时长度。w的取值可以根据实际情况选择。

从计算公式(1)可以看出，EWMA值的更新是一种增量计算，因此计算复杂度并不高。例如，在实际应用中可以将w设为0.5，这样计算公式就演变为：

E_t＝L_t>>1+E_t-1>>1   (2)

其中“>>”表示右移运算。在计算机程序指令中，移位指令所需要的指令周期通常都是要小于乘法指令的，而该公式将原本需要的两次乘法和一次减法简化为了两次移位操作，减少了计算复杂度。

步骤104：选择具有最小EWMA值的缓冲队列，将当前中间数据包所述的数据流和所选择的缓冲队列序号写入到全局流表的相应位置中，然后执行步骤106。

步骤105：在已有全局流表中找到当前中间数据包所属的数据流的表项，得到该数据流在当前级别所绑定的缓冲队列序号。

步骤106：将当前中间数据包发往所得到的缓冲队列，然后返回步骤101，开始接收和处理下一个中间数据包。

上述EWMA负载均衡算法是一种动态负载均衡算法，它针对流水线并行处理构架中具有网络流量的动态性和处理线程的异构性这两个特点进行了优化，因此能够达到更好的负载均衡效果。实验表明，相对于传统的负载均衡算法，上述优选实施例的动态均衡算法下各线程的缓冲队列平均长度较小，波动幅度和差异也很小，体现出了更好的负载均衡效果。

另外，需要说明的是，本发明不仅可应用于网络数据包多核并行处理，本发明还可以应用于其它类似的流式数据并行处理，例如视频流处理、文本处理、消息处理等。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (10)

1.一种用于流式数据并行处理的负载均衡方法，所述流式数据并行处理基于并行流水线实现，所述并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，所述用于流式数据并行处理的负载均衡方法包括下列步骤：

1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；

2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；

所述i为1至N-1中的任意一个整数。

2.根据权利要求1所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度得出。

3.根据权利要求2所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度的EWMA值得出。

4.根据权利要求3所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，t时刻的所述EWMA值E_t＝w·L_t+(1–w)·E_t-1，其中L_t表示t时刻的缓冲队列长度，E_t-1表示t-1时刻的EWMA值，w表示平稳因子。

5.根据权利要求3所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，t时刻的所述EWMA值E_t＝L_t>>1+E_t-1>>1；其中“>>”表示右移运算。

6.根据权利要求4或5所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)还包括：将所述的第i级中间数据包发送到具有最小EWMA值的第i+1级处理线程的缓冲队列。

7.根据权利要求4或5所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)包括下列子步骤：

21)接收一个第i级中间数据包；其中，i＝1,2…，N-1；

22)在全局流表中查找该第i级中间数据包所属的数据流，如果未找到，则执行步骤23)，如果找到，则直接根据所述全局流表的记录将所述的第i级中间数据包发送到相应的第i+1级处理线程的缓冲队列；所述全局流表记录已处理过的所有数据流及其所对应的在流水线中的处理路径；

23)更新所有第i+1级处理线程的缓冲队列在当前时刻下的EWMA值，选出EWMA值最小的第i+1级处理线程；

24)将所述第i级中间数据包发往步骤23)所选出的第i+1级处理线程的缓冲队列。

8.根据权利要求7所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤24)还包括：根据步骤23)的选择更新所述全局流表中所述第i级中间数据包所对应数据流的表项。

9.根据权利要求7所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述全局流表的每条表项记录数据流标识和该数据流在流水线中的处理路径，其中采用五元组作为数据流标识，五元组由源IP地址、目的IP地址、源端口、目的端口、传输层的协议类型构成。

10.根据权利要求1所述的用于流式数据并行处理的负载均衡方法，其特征在于，还包括步骤：

3)将所述第i+1级处理线程视为第i级处理线程重新执行步骤1)，直至第N级处理线程完成本级的数据处理得到最终数据。