CN106506351A

CN106506351A - 一种基于多处理单元的报文采样方法和装置

Info

Publication number: CN106506351A
Application number: CN201510566123.6A
Authority: CN
Inventors: 赵佳博
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2015-09-07
Filing date: 2015-09-07
Publication date: 2017-03-15
Also published as: WO2017041509A1

Abstract

本发明提供的基于多处理单元的报文采样方法和装置，应用于通信领域。首先，从多个处理单元中选择至少一个处理单元作为关键处理单元；然后判断各待采样报文中是否存在需要提取的至少一个关键字段；最后，如存在，将待采样报文分配到关键处理单元进行报文采样处理。与现有技术相比，在进行报文采样之前，会对待采样报文进行判断，如果是存在关键字段，则通过指定的关键处理单元进行采样处理，这样就可以让关键处理单元只针对关键字段进行采样，能够不对非关键字段进行采样，能够提高对关键字段的处理效率，避免来处理非关键字段导致关键处理单元的处理效率损失的问题。

Description

一种基于多处理单元的报文采样方法和装置

技术领域

本发明涉及通信领域，具体涉及一种基于多处理单元的报文采样方法和装置。

背景技术

报文采样(IPFLOW)技术，是对报文进行流量采集，采集流量中的字段，组成CFLOW报文，输出到服务器或在路由器本身进行流量分析的技术。

对于IPFLOW采集来说，由于技术的发展，处理的单元从单一向多个处理单元发展，各处理单元形成分担处理的关系，目前普遍采用的做法，是使用单一的分担算法，将处理的流量分担到各处理单元，但IPFLOW相关的采集是划分为关键字段与非关键字段,而这样会让同一个处理器进行关键字段的采集又会对非关键字段进行采集,并且对于非关键字也会形成相应的聚合流,这样会增加处理单元的处理量,降低处理单元的处理效率，导致处理单元的处理效率损失。

发明内容

本发明要解决的主要技术问题是，提供一种基于多处理单元的报文采样方法和装置，解决现有多处理单元分担处理过程中处理效率损失的问题。

为解决上述问题，本发明提供一种基于多处理单元的报文采样方法，其特征在于，包括：

从多个处理单元中选择至少一个处理单元作为关键处理单元；

判断各待采样报文中是否存在需要提取的至少一个关键字段；

如存在，将所述待采样报文分配到所述关键处理单元进行报文采样处理。

在本发明的一种实施例中，所述关键字段包括源地址、目的地址、源端口号、目的端口号、协议类型、服务类型和入逻辑接口标示符中的至少一个。

在本发明的一种实施例中，所述将所述待采样报文分配到所述关键处理单元进行报文采样处理包括：

将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理；

或

将存在需要提取的关键字段的待采样报文平均分配到各关键处理单元进行报文采样处理。

在本发明的一种实施例中，当关键字的个数小于等于关键处理单元的个数时，所述将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。

在本发明的一种实施例中，当关键字的个数大于关键处理单元的个数时，所述将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理。

在本发明的一种实施例中，所述关键处理单元包括多内核：所述将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理包括：

将存在需要提取的相同关键字段的待采样报文分配到同一内核中进行报文采样处理；

或

将存在需要提取的关键字段的待采样报文平均分配到各内核进行报文采样处理。

在本发明的一种实施例中，还包括：从多个处理单元中选择至少一个处理单元作为非关键处理单元；当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到所述非关键处理单元进行报文采样处理。

为解决上述问题，本发明还提供一种基于多处理单元的报文采样装置，其特征在于，包括选择模块、判断模块和采样模块：

所述选择模块用于从多个处理单元中选择至少一个处理单元作为关键处理单元；

所述判断模块用于判断各待采样报文中是否存在需要提取的至少一个关键字段；

所述采样模块用于如存在，将所述待采样报文分配到所述关键处理单元进行报文采样处理。

在本发明的一种实施例中，所述采样模块还用于：

或

在本发明的一种实施例中，当关键字的个数小于等于关键处理单元的个数时，所述采样模块还用于为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。

在本发明的一种实施例中，所述关键处理单元包括多内核：所述采样模块还用于：

或

在本发明的一种实施例中，所述选择模块还用于从多个处理单元中选择至少一个处理单元作为非关键处理单元；所述采样模块还用于当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到所述非关键处理单元进行报文采样处理。

本发明的有益效果是：

本发明提供的基于多处理单元的报文采样方法和装置，首先，从多个处理单元中选择至少一个处理单元作为关键处理单元；然后判断各待采样报文中是否存在需要提取的至少一个关键字段；最后，如存在，将待采样报文分配到关键处理单元进行报文采样处理。与现有技术相比，在进行报文采样之前，会对待采样报文进行判断，如果是存在关键字段，则通过指定的关键处理单元进行采样处理，这样就可以让关键处理单元只针对关键字段进行采样，能够不对非关键字段进行采样，能够提高对关键字段的处理效率，避免来处理非关键字段导致关键处理单元的处理效率损失的问题。

附图说明

图1为本发明实施例一提供的基于多处理单元的报文采样方法流程图；

图2为本发明实施例二提供的基于多处理单元的报文采样方法流程图；

图3为本发明实施例三提供的基于多处理单元的报文采样装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本申请实施例的基于多处理单元的报文采样方法，如图1所示，该方法包括：

S101：从多个处理单元中选择至少一个处理单元作为关键处理单元；

在该步骤中，主要是为了从多个处理单元中选择哪些处理单元来进行关键字段的采用处理。例如，有3个处理单元，那么可以从其中选择1个作为关键处理单元，也可以选择其中两个作为关键处理单元。

S102：判断各待采样报文中是否存在需要提取的至少一个关键字段；

在该步骤中，对各待采样报文进行初步识别处理，看里面是否存在需要提取的关键字段，这里的关键字段是指需要特殊关注的字段，优选的，可以是一些标识字段，具体的可以是源地址、目的地址、源端口号、目的端口号、协议类型、服务类型和入逻辑接口标示符中的至少一个。例如对1000个报文进行采样，以目标地址A和/或源地址B为关键字段，判断这1000个报文中是否有目标地址A和/或源地址B。

S103：如存在，将待采样报文分配到关键处理单元进行报文采样处理。

在该步骤中，对存在关键字段的报文分配到上述指定的关键处理单元进行处理。结合上述例子进行说明，如果1000个待采样报文中，有10个报文中存在关键字段，其中4个存在关键字段目标地址A、6个存在关键字段源地址B，那么就将这10个报文分配到关键处理单元中进行报文采样处理。

在上述步骤S103中，具体的，将待采样报文分配到关键处理单元进行报文采样处理包括：将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理；或将存在需要提取的关键字段的待采样报文平均分配到各关键处理单元进行报文采样处理。结合上述例子进行说明，并且存在3个处理单元，处理单元1、处理单元2和处理单元3；定其中两个处理单元为关键处理单元，定处理单元1和处理单元2为关键处理单元。即将10个具有关键字段的报文分配到这两个处理单元进行采样处理，具体的可以是每个处理单元处理5个报文，即处理单元1和处理单元各处理5个报文；也可以是处理单元1处理4个报文，即处理关键字段为目标地址A的报文，处理单元2处理6个报文，即处理关键字段为源地址B的报文；也可以是一个关键处理单元进行这些报文处理，即处理单元1进行这10个报文处理或处理单元2进行这10个报文处理。当然，具体的其他分配方式也可以包含在内。可以让每个关键处理单元专门处理一个关键字段的报文采样，这样能够很好的形成单独一条的聚合流，不必进行后续聚合流的叠加处理。

进一步，当关键字的个数小于等于关键处理单元的个数时，将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。也就是说为了在关键处理单元个数大于等于关键字段的个数时，为了便于提高处理效率，以及让后续不用再进行聚合流的叠加，让每个处理单元单独的进行一个关键字段的流的处理。结合上述例子说明，也就是是处理单元1处理4个报文，即处理关键字段为目标地址A的报文，处理单元2处理6个报文，即处理关键字段为源地址B的报文。这样，处理单元1就可以单独形成目标地址A聚合流，处理单元1就可以单独形成源地址B聚合流，可以避免由两个关键处理单元分开来进行处理后续得进行标地址A聚合流的叠加和源地址B聚合流的叠加。

进一步，当关键字的个数大于关键处理单元的个数时，将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理。也就是说为了在关键处理单元个数小于关键字段的个数时，某些处理单元必然要承担多个关键字段对应的报文处理。结合上述例子说明，假如还存在4个目标地址C，那么处理单元1处理8个报文，即处理关键字段为目标地址A的报文和目标地址C的报文，处理单元2处理6个报文，即处理关键字段为源地址B的报文。当然也可以是那么处理单元1处理6个报文，即处理关键字段为目标地址A的报文和目标地址C的报文，处理单元2处理8个报文，即处理关键字段为源地址B的报文和目标地址C的报文。当然具体的分配方式可以根据具体的情况进行灵活分配。

进一步，关键处理单元包括多内核：将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理包括：将存在需要提取的相同关键字段的待采样报文分配到同一内核中进行报文采样处理；或将存在需要提取的关键字段的待采样报文平均分配到各内核进行报文采样处理。即具体将各关键字段的报文采样处理分配最底层的处理对象，这样可以让快速得知具体谁在进行什么处理，便于后期的使用时能够快速准确的得知具体的聚合流在哪里。结合上述例子进行说明，如果处理单元1中为双内核，值得注意的是，这里的处理单元具体可以是处理器。假如处理单元1处理8个报文，即处理关键字段为目标地址A的报文和目标地址C的报文，那么具体可以让其中一个内核处理目标地址A的报文，另外一个内核处理目标地址C的报文，值得注意的具体分配情况可以根据具体情况而定。

进一步，本实施例中的基于多处理单元的报文采样方法还包括从多个处理单元中选择至少一个处理单元作为非关键处理单元；当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到非关键处理单元进行报文采样处理。即让其中指定的非关键处理单元专门来进行非关键字段的采用处理，优选的，指用一个处理单元来进行非关键字段的采用处理，这样可以让更多的处理单元进行关键字段的采用处理，来提高处理单元的采样效率。

实施例二：

本申请实施例的基于多处理单元的报文采样方法，如图2所示，该方法包括：

步骤S201：用户在网络部署中通过网管或OAM界面设定IPFLOW相关配置；

在该步骤中，具体配置包括采样模板中的关键字段报文中需要特殊关注的字段，配置match项。采样模板中的非关键字段报文中关注但不重要的字段，配置collect项。采样中的输出项，即配置输出地址，输出模板参数。采样中的管理项，即集合模板，输出项。采样中的采样率，例如默认为1000:1，即1000个报文中采集1个。采样中的接口绑定，即绑定相应接口进行流量采集。

步骤S202：根据模板中的关键字段对流量分担到各处理单元；

在该步骤中，具体的获取模板中的关键字段，判断处理单元是否为多个，如果不是，则只发送到单个处理单元，如果为多个，按本方法进行处理。判断分担级数是否为单个，如果为单个，直接按关键字段组成键值进行处理，否则，按分担级数进行划分，分级组键值进行处理，微码查询键值做分担处理，这里的微码查询为对待采样的报文进行关键字段初步识别，然后查找对应的处理单元。值得注意的是，这里的关键字段组成的键值是指关键字段与具体处理单元建立对应关系，即有那个出来单元进行处理，如果该处理单元为多内核处理单元，那么该键值为关键字段与对应的内核的对应关系。

步骤S203：处理单元进行报文采样。

在该步骤中，具体的处理单元对报文提取需要字段，组成需要的CFLOW报文发送。

实施例三：

本实施例提供基于多处理单元的报文采样装置300，如图3所示，包括选择模块301、判断模块302和采样模块303：其中，选择模块301用于从多个处理单元中选择至少一个处理单元作为关键处理单元；判断模块302用于判断各待采样报文中是否存在需要提取的至少一个关键字段；采样模块303用于如存在，将待采样报文分配到关键处理单元进行报文采样处理。

进一步，采样模块303还用于：将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理；或将存在需要提取的关键字段的待采样报文平均分配到各关键处理单元进行报文采样处理。

进一步，当关键字的个数小于等于关键处理单元的个数时，采样模块还303用于为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。

进一步，当关键字的个数大于关键处理单元的个数时，采样模块303还用于将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理。

进一步，关键处理单元包括多内核：采样模块还用于：将存在需要提取的相同关键字段的待采样报文分配到同一内核中进行报文采样处理；或将存在需要提取的关键字段的待采样报文平均分配到各内核进行报文采样处理。

进一步，选择模块301还用于从多个处理单元中选择至少一个处理单元作为非关键处理单元；采样模块303还用于当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到非关键处理单元进行报文采样处理。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，上述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于多处理单元的报文采样方法，其特征在于，包括：

2.如权利要求1所述的基于多处理单元的报文采样方法，其特征在于，所述关键字段包括源地址、目的地址、源端口号、目的端口号、协议类型、服务类型和入逻辑接口标示符中的至少一个。

3.如权利要求1所述的基于多处理单元的报文采样方法，其特征在于，所述将所述待采样报文分配到所述关键处理单元进行报文采样处理包括：

或

4.如权利要求3所述的基于多处理单元的报文采样方法，其特征在于，当关键字的个数小于等于关键处理单元的个数时，所述将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。

5.如权利要求3所述的基于多处理单元的报文采样方法，其特征在于，当关键字的个数大于关键处理单元的个数时，所述将存在需要提取的相同关键字段的待采样报文分配到同一关键处理单元进行报文采样处理包括：将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理。

6.如权利要求5所述的基于多处理单元的报文采样方法，其特征在于，所述关键处理单元包括多内核：所述将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理包括：

或

7.如权利要求1-6任一项所述的基于多处理单元的报文采样方法，其特征在于，还包括：从多个处理单元中选择至少一个处理单元作为非关键处理单元；当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到所述非关键处理单元进行报文采样处理。

8.一种基于多处理单元的报文采样装置，其特征在于，包括选择模块、判断模块和采样模块：

9.如权利要求8所述的基于多处理单元的报文采样装置，其特征在于，所述采样模块还用于：

或

10.如权利要求9所述的基于多处理单元的报文采样装置，其特征在于，当关键字的个数小于等于关键处理单元的个数时，所述采样模块还用于为每个关键字段选择一个关键处理单元，将其对应的待采样的报文分配到该关键处理单元进行报文采样处理。

11.如权利要求9所述的基于多处理单元的报文采样装置，其特征在于，当关键字的个数大于关键处理单元的个数时，所述采样模块还用于将多个相同关键字段的待采样报文分配到同一个关键处理单元进行报文采样处理。

12.如权利要求11所述的基于多处理单元的报文采样装置，其特征在于，所述关键处理单元包括多内核：所述采样模块还用于：

或

13.如权利要求8-12任一项所述的基于多处理单元的报文采样装置，其特征在于，所述选择模块还用于从多个处理单元中选择至少一个处理单元作为非关键处理单元；所述采样模块还用于当判断待采样报文中是否存在需要提取的至少一个关键字段的结果为不存在时，将不存在需要提取的关键字段的待采样报文分配到所述非关键处理单元进行报文采样处理。