CN105471770A - 一种基于多核处理器的报文处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于多核处理器的报文处理方法及装置，该方法包括：接收到待处理报文后，确定所述待处理报文所属的报文类型；在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；将所述待处理报文分配给对应的所述流水线族进行报文处理。通过本发明的方法，同一流水线族处理的报文所执行的关键路径、执行时间基本相同，这样就可以减少cache？miss，提高网络设备的报文转发性能。

Description

一种基于多核处理器的报文处理方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于多核处理器的报文处理方法及装置。

背景技术

用于处理报文的网络设备，如交换机、路由器、防火墙和网关等，作为计算机互连的数据交换节点，数据转发性能决定了网络的整体质量。随着用户连接数的急剧增长和各种高宽带应用的出现，主频提升受限的单核处理器越来越难以满足高速数据转发的性能需求。而多核处理器凭借其较低成本的扩展能力和并行计算特性，逐渐在网络通信领域得到广泛应用。所谓多核处理器，是指在一个硬件芯片上集成多个核心处理器(英文Core-CPU)，通常为共享内存式结构。多核处理器具备相对独立的多个计算处理核心，可以并行地执行报文处理程序，从而使得报文处理性能得到大幅度提高，进而可以提高系统整体的吞吐率。

但是，多核处理器由于共享许多硬件和软件资源，在数据转发繁忙时，如何能够提高彼此的协同效率，减少相互等待时间，充分发挥并行特性成为多核处理器平台软件开发的难点。再者，由于每个处理器核心处理不同报文的时间随机性，有可能造成先进入转发序列的报文，反而后到达输出序列，出现所谓的报文乱序现象。

为了提高多核处理器的计算并行性，现有技术中通常采用流水线技术：接收到报文，根据该报文中携带的特征值(例如该报文的源IP、源端口、目的IP、目的端口等)计算该报文的散列值，然后将报文分配给与该散列值对应的流水线处理。

然而，不同报文类型的报文在流水线处理时可能需要进行的处理操作是不同的，故而不同报文类型的报文处理过程所执行的代码，所访问的数据，所花费的处理时间也不同，故现有技术会造成cachemiss的增多，这将影响报文的转发性能。

发明内容

本发明实施例提供了一种基于多核处理器的报文处理方法及装置，用以解决目前存在的报文处理过程中现有技术会造成cachemiss的增多，影响报文的转发性能等问题。

本发明实施例提供了一种基于多核处理器的报文处理方法，包括：

接收到待处理报文后，确定所述待处理报文所属的报文类型；

在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；

将所述待处理报文分配给对应的所述流水线族进行报文处理。

进一步地，本发明实施例还提供了一种基于多核处理器的报文处理装置，包括：

报文类型确定模块，用于接收到待处理报文后，确定所述待处理报文所属的报文类型；

流水线族查找模块，用于在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；

处理模块，用于将所述待处理报文分配给对应的所述流水线族进行报文处理。

本发明有益效果如下：本发明实施例中将量化值接近(即量化值之间的差值小于预设阈值)的关键路径建立对应的流水线组，然后将同一流水线族的报文发送给该流水线族处理，这样，同一流水线族处理的报文所执行的关键路径、执行时间基本相同，这样就可以减少cachemiss，提高网络设备的报文转发性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明实施例一中所述基于多核处理器的报文处理方法的流程示意图；

图2所示为本发明实施例二中所述基于多核处理器的报文处理装置的结构示意图之一；

图3所示为本发明实施例二中所述基于多核处理器的报文处理装置的结构示意图之二。

具体实施方式

本发明实施例提供了一种基于多核处理器的报文处理方法及装置，在本发明实施例所述技术方案中，由于接收到待处理报文后，确定所述待处理报文所属的报文类型；在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；将所述待处理报文分配给对应的所述流水线族进行报文处理。这样，本发明实施中，将量化值接近(即量化值之间的差值小于预设阈值)的关键路径建立对应的流水线组，然后将同一流水线族的报文发送给该流水线族处理，这样，同一流水线族处理的报文所执行的关键路径、执行时间基本相同，这样就可以减少cachemiss，提高网络设备的报文转发性能。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

如图1所示，其为本发明实施例一中所述基于多核处理器的报文处理方法的流程示意图，所述基于多核处理器的报文处理方法可包括以下步骤：

步骤101：接收到待处理报文后，确定所述待处理报文所属的报文类型。

其中，在一个实施例中，报文类型例如是根据报文所使用的网络协议划分的，例如报文类型包括：HTTP报文、TCP报文、UDP报文等等。

其中，在一个实施例中，报文类型还可以根据报文五元组信息(如IP地址、协议类型、端口号)信息划分。当然，也可以根据报文需要处理的过程划分报文类型，例如报文类型为病毒扫描，或者仅需要路由等。需要说明的是，具体实施时，可以根据实际需要划分报文类型，本发明对此不做限定。

步骤102：在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值。

步骤103：将所述待处理报文分配给对应的所述流水线族进行报文处理。

其中，在一个实施例中，步骤102中所述报文类型与流水线族之间的对应关系可以根据以下方法建立，包括：

步骤A1：针对预置的报文类型集合中的每种报文类型，获取该报文类型的报文处理过程中的执行路径。

步骤A2：对执行路径进行分析，获取该种类型报文的关键路径。

其中，在一个实施例中，针对不同应用类型的网络设备可以根据网络设备当前开启的各种业务的业务功能，获取到不同的关键路径。例如，对于需要进行病毒扫描的报文类型，可以认为它的关键路径是报文接收-病毒扫描-病毒特征码入库为关键路径；也可以以报文接收-病毒扫描-报文丢弃作为关键路径。对于仅需要路由的报文类型，获取到的关键路径为报文接收-路由查找-报文发送；对于需要全安检测的报文类型，其关键路径变为报文接收-防攻击-病毒检测-报文发送。具体实施时，可以根据实际需要获取关键路径，本发明实施例对此不做限定。

步骤A3：对获取的关键路径进行量化分析，得到该关键路径的量化值。

其中，在一个实施例中，各关键路径在报文处理的程序中有与其对应的代码段；故此，为便于简化操作通过简便的方法获得量化值，关键路径的量化值可以为该关键路径对应的程序代码段的代码行数或程序执行时间。例如，关键路径B对应的代码段为C，关键路径B的量化值可以为代码段C的代码行数或代码段C的执行时间。

步骤A3：将量化值之间的差值小于预设阈值的关键路径归类到同一关键路径集合中。

例如，第一报文类型的第一关键路径的量化值为T1，第二报文类型的第二关键路径的量化值为T2，第三报文类型的第三关键路径的量化值为T3，若T1与T2之间的差值(即量化值之间的差值)小于预设阈值，则第一关键路径与第二关键路径同属于一个关键路径集合(即为集合A)。若T3与T2的差值大于等于预设阈值，或T3与T2的差值大于等于预设阈值则第三关键路径不属于集合A。当然，具体实施时，还可以根据现有的聚类算法，进行聚类，只要同一关键路径集合中量化值之间的差值小于预设阈值即可。本发明对如何聚类不做限定。例如，可以预先根据各关键路径的量化值确定出至少一个聚类中心点，针对每个聚类中心点，将量化值与该聚类中心点的之间的距离小于二分之一预设阈值的关键路径聚集到同一关键路径集合中。

步骤A4：针对每种关键路径集合建立对应的流水线族，并建立流水线族与报文类型之间的对应关系。

例如，当报文类型是根据网络协议划分时，对于HTTP报文，首先根据步骤A1获取该报文类型的报文处理过程中的执行路径，然后分析该执行路径，从而获得HTTP报文的关键路径L1，并对HTTP报文的关键路径进行量化分析，获得HTTP报文的关键路径的量化值为D1。然后依照相同的处理方法，获得TCP报文的关键路径L2的量化值为D2。然后计算D1与D2的差值，若该差值小于预设阈值，则L1与L2属于同一关键路径集合，并建立该关键路径集合对应的流水线族E，并建立流水线族E与HTTP报文和TCP报文具有对应关系。网络设备之后再接收到HTTP报文和/或TCP报文之后，便根据该对应关系，将其发送给流水线族E处理。

其中，在一个实施例中，流水线族内包括至少一条流水线，流水线族内的流水线的条数可以根据该流水线族所需要处理的报文量动态调整，这样，便能够合理利用流水线，提高多核处理器并发效率。具体的，对流水线族内的流水线的调整可以包括以下步骤：

步骤F1：针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量。

例如，继续上面的例子，针对流水线族E，该流水线族对应的所有报文类型例如为HTTP报文和TCP报文，则计算当前所有待处理的HTTP报文和TCP报文的报文总量(记为族内报文总量)。

步骤F2：计算族内报文总量与当前所有待处理报文的报文总量的第一比值。

例如，所有报文类型为HTTP报文、TCP报文和UDP报文，那么当前所有待处理报文的报文总量则为当前所有待处理的HTTP报文、TCP报文和UDP报文的报文总量。

第一比值为步骤F1中的族内报文总量除以当前所有待处理报文的报文总量的结果。

步骤F3：根据计算的第一比值，调整该流水线族内的流水线条数。

其中，在一个实施例中，可以根据以下方式之一执行步骤F3：

方式一：例如可以设置一个报文变量阈值，根据本次计算的第一比值和上次的计算的第一比值的差与报文变量阈值的比较结果调整流水线族内的流水线条数，具体可包括以下步骤：

步骤G1：用步骤F2计算的第一比值，减去该流水线族上次计算的第一比值，求得两比值之间的比值差值。

步骤G2：当确定比值差值为正，且比值差值大于报文变量阈值时，将该流水线族内的流水线条数增加预设数量；当确定比值差值为负，且比值差值的绝对值大于报文变量阈值时，将该流水线族内的流水线条数减少预设数量。

这样，能够根据族内报文量的增减量，动态调整族内的流水线数量，当族内报文量增加量超过报文变量阈值时，可以增加族内流水线的数量，当族内报文量减量超过报文变量阈值时，可以减少族内流水线的数量，以释放流水线资源，提高多核处理器的并发处理效率。

方式二：可以建立比值和流水线条数的对应关系，根据比值和流水线条数的对应关系调整各流水线族内的流水线条数，具体的，可以包括以下步骤：

步骤H1：根据计算的第一比值，在预置的比值和流水线条数的对应关系中，查找计算的第一比值对应的流水线条数。

步骤H2：将该流水线族的流水线条数调整为查找到的第一比值对应的流水线条数。

其中，在一个实施例中，在第一比值和流水线条数的对应关系中可以配置第一比值越高对应的流水线条数越多。具体实施时可以设置一个比值范围，首先查找计算的第一比值所在的比值范围，然后，在查找与该比值范围对应的流水线条数，将查找的结果作为流水线族调整后的流水线条数。

其中，在一个实施例中，还可以根据族内报文总量调整流水线族内的流水线数量，具体包括以下步骤：

步骤G1：针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量。

步骤G2：计算族内报文总量处以该流水线族对应的预置单条流水线最大处理报文量所获得的第二比值，将该流水线组内的流水线条数调整为所述第二比值。

其中，第二比值为步骤G1中的族内报文总量除以预置单条流水线最大处理报文量的结果。其中单条流水线最大处理报文量例如可以为300Mbps。

其中，当第二比值不为整数时，可以向上取整数。例如，第二比值为3.4，则取整后为4。

其中，在一个实施例中，为了提高多核处理器的并发效率，提高网络设备的报文处理速度，需要根据待处理报文量和报文类型对流水线进行调度。本发明实施例中，对流水线的调度可以分为两级。第一级是对流水线族的调度，对流水线族，可以设置在哪些核上执行，同时可以设置不同族之间的优先或轮询调度策略。第二级是族内流水线，在多核上采用公平调度策略。以下对上述各调度策略进行详细说明：

1)、对流水线族的调度之优先调度策略：可以对不同的族设置不同的优先级，较高优先级的族具有优先调度的权力。只有当高优先级的族处理结束，比其优先级低的族才有机会进行调度。

2)、对流水线族的调度之轮询调度策略；在具有相同优先级的情况下，族之间采用轮询调度的策略，并且可以使用带权重的轮询调度策略。如族A和族B具有相同的优先级L。其中族A的权重是W1，族B的权重是W2。则族A和族B轮询调度，族A和族B的调度次数的比值是W1：W2。

3：对族内流水线的调度之公平调度策略。族内流水线采用相同权重的轮询调度策略。

综上，本发明实施例中将量化值接近(即量化值之间的差值小于预设阈值)的关键路径建立对应的流水线组，然后将同一流水线族的报文发送给该流水线族处理，这样，同一流水线族处理的报文所执行的关键路径、执行时间基本相同，这样就可以减少cachemiss，提高网络设备的报文转发性能。

此外，本发明实施例还可以根据当前报文量调整流水线族内的流水线条数，以进一步提高多核处理器的并发效率，提高报文的处理效率。

实施例二

基于相同的发明构思，本发明实施例还提供一种基于多核处理器的报文处理装置，如图2所述，为该装置的结构示意图，该装置包括：

报文类型确定模块201，用于接收到待处理报文后，确定所述待处理报文所属的报文类型；

流水线族查找模块202，用于在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；

处理模块203，用于将所述待处理报文分配给对应的所述流水线族进行报文处理。

其中，在一个实施例中，如图3所示，所述装置还包括：

对应关系建立模块204，用于根据以下方法建立所述报文类型与流水线族之间的对应关系：

针对预置的报文类型集合中的每种报文类型，获取该报文类型的报文处理过程中的执行路径；并，

对执行路径进行分析，获取该种类型报文的关键路径；并，

对获取的关键路径进行量化分析，得到该关键路径的量化值；

将量化值之间的差值小于预设阈值的关键路径归类到同一关键路径集合中；

针对每种关键路径集合建立对应的流水线族，并建立流水线族与报文类型之间的对应关系。

其中，在一个实施例中，关键路径的量化值为该关键路径对应的程序代码段的代码行数或程序执行时间。

其中，在一个实施例中，如图3所示，所述装置还包括：

第一族内报文量确定模块205，用于针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；

第一比值确定模块206，用于计算族内报文总量与当前所有待处理报文的报文总量的第一比值；

第一流水线调整模块207，用于根据计算的第一比值，调整该流水线族内的流水线条数。

其中，在一个实施例中，如图3所示，所述装置还包括：

第二族内报文量确定模块208，用于针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；

第二流水线调整模块209，用于计算族内报文总量处以该流水线族对应的预置单条流水线最大处理报文量所获得的第二比值，将该流水线组内的流水线条数调整为所述第二比值。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例所提供的基于多核处理器的报文处理装置，将量化值接近(即量化值之间的差值小于预设阈值)的关键路径建立对应的流水线组，然后将同一流水线族的报文发送给该流水线族处理，这样，同一流水线族处理的报文所执行的关键路径、执行时间基本相同，这样就可以减少cachemiss，提高网络设备的报文转发性能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(装置)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多核处理器的报文处理方法，其特征在于，包括：

接收到待处理报文后，确定所述待处理报文所属的报文类型；

在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；

将所述待处理报文分配给对应的所述流水线族进行报文处理。

2.根据权利要求1所述的方法，其特征在于，根据以下方法建立所述报文类型与流水线族之间的对应关系：

针对预置的报文类型集合中的每种报文类型，获取该报文类型的报文处理过程中的执行路径；并，

对执行路径进行分析，获取该种类型报文的关键路径；并，

对获取的关键路径进行量化分析，得到该关键路径的量化值；

将量化值之间的差值小于预设阈值的关键路径归类到同一关键路径集合中；

针对每种关键路径集合建立对应的流水线族，并建立流水线族与报文类型之间的对应关系。

3.根据权利要求1或2所述的方法，其特征在于，关键路径的量化值为该关键路径对应的程序代码段的代码行数或程序执行时间。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；并，

计算族内报文总量与当前所有待处理报文的报文总量的第一比值；

根据计算的第一比值，调整该流水线族内的流水线条数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；

计算族内报文总量处以该流水线族对应的预置单条流水线最大处理报文量所获得的第二比值，将该流水线组内的流水线条数调整为所述第二比值。

6.一种基于多核处理器的报文处理装置，其特征在于，包括：

报文类型确定模块，用于接收到待处理报文后，确定所述待处理报文所属的报文类型；

流水线族查找模块，用于在预置的报文类型与流水线族之间的对应关系中，查找所述待处理报文所对应的流水线族；其中，同一流水线族对应至少一种报文类型、且同一流水线族对应的不同报文类型的报文处理过程的关键路径的量化值之间的差值小于预设阈值；

处理模块，用于将所述待处理报文分配给对应的所述流水线族进行报文处理。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

对应关系建立模块，用于根据以下方法建立所述报文类型与流水线族之间的对应关系：

针对预置的报文类型集合中的每种报文类型，获取该报文类型的报文处理过程中的执行路径；并，

对执行路径进行分析，获取该种类型报文的关键路径；并，

对获取的关键路径进行量化分析，得到该关键路径的量化值；

将量化值之间的差值小于预设阈值的关键路径归类到同一关键路径集合中；

针对每种关键路径集合建立对应的流水线族，并建立流水线族与报文类型之间的对应关系。

8.根据权利要求6或7所述的装置，其特征在于，关键路径的量化值为该关键路径对应的程序代码段的代码行数或程序执行时间。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一族内报文量确定模块，用于针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；

第一比值确定模块，用于计算族内报文总量与当前所有待处理报文的报文总量的第一比值；

第一流水线调整模块，用于根据计算的第一比值，调整该流水线族内的流水线条数。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二族内报文量确定模块，用于针对每种流水线族，将该流水线族对应的所有报文类型的当前报文总量记为族内报文总量；

第二流水线调整模块，用于计算族内报文总量处以该流水线族对应的预置单条流水线最大处理报文量所获得的第二比值，将该流水线组内的流水线条数调整为所述第二比值。