CN110191109B - 一种报文采样方法及装置 - Google Patents

Abstract

本申请提供一种报文采样方法及装置。一种报文采样方法，包括：提取网络设备所接收的报文对应的特征信息；根据预设的哈希算法计算所述特征信息对应的哈希值；新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；判断经过更新的新建哈希值表项的数量是否满足预设的要求；若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文。

Description

一种报文采样方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种报文采样方法及装置。

背景技术

随着数据爆炸式的增长以及大数据技术的快速发展，从网络设备所接收的报文中进行报文采样并分析的需求越来越多，故随着网络系统性能、功能和带宽的日益增长，需要网络设备能够提供对大量报文进行采样的支持。

当前对报文进行采样是基于报文五元组，计算报文五元组对应的哈希值，由报文五元组对应的哈希值组成哈希值区间，按照报文采样比例对哈希值区间进行划分，划分为哈希值采样区间以及哈希值非采样区间，若网络设备所接收的报文的报文五元组对应的哈希值落入哈希值采样区间，可以对该报文进行采样(例如对该报文进行标记和并转发至报文分析端)。由于哈希值随机分布的特性，导致在一定时间段内报文采样比例出现差错，造成网络设备系统资源不必要的浪费。

发明内容

有鉴于此，本申请提供一种报文采样方法及装置。

具体地，本申请是通过如下技术方案实现的：

一种报文采样方法，所述方法包括：

提取网络设备所接收的报文对应的特征信息；

根据预设的哈希算法计算所述特征信息对应的哈希值；

新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；

判断经过更新的新建哈希值表项的数量是否满足预设的要求；

若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文。

一种报文采样装置，所述装置包括：

信息提取模块，用于提取网络设备所接收的报文对应的特征信息；

哈希值计算模块，用于根据预设的哈希算法计算所述特征信息对应的哈希值；

数量更新模块，用于新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；

数量判断模块，用于判断经过更新的新建哈希值表项的数量是否满足预设的要求；

采样标记模块，用于若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文。

本申请实施例提供的技术方案，通过对哈希值表项进行维护，对新建哈希值表项的数量进行更新，判断经过更新的新建哈希值表项的数量是否满足预设的要求，以决定是否将所接收的报文标记为采样报文。如此不再受哈希值随机分布的特性的干扰，确保在一定时间段内报文采样比例正确，避免了网络设备系统资源不必要的浪费。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请一示例性实施例示出的一种基于FPGA的硬件连接示意图；

图2是本申请一示例性实施例示出的一种报文采样方法的实施流程示意图；

图3是本申请一示例性实施例示出的一种报文采样装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采样术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例提供的报文采样方法可以基于FPGA实现，如图1所示，为本申请实施例提供的一示例性基于FPGA的硬件连接示意图，包括：可以计算报文特征信息(例如五元组信息)哈希值的模块1，可以检索哈希值表项、新建哈希值表项以及更新哈希值表项中时间戳的模块2，可以按照时间戳删除哈希值表项的模块3，以及与模块2、模块3连接的内存空间(DDR)，其中模块1与模块2分别与I/O连接。在FPGA内部使用DDR控制器实现内存空间(DDR)的使用，DDR控制器通过编程实现FPGA与DDR之间的数据交互。考虑到I/O的传输速率与对哈希值表项进行操作(上述所说的检索、新建、更新等操作)的速率之间存在差异，在I/O与模块1、I/O与模块2之间使用FIFO缓存报文。

基于上述的装置，本申请实施例提供的技术方案，通过对哈希值表项进行维护，对新建哈希值表项的数量进行更新，判断经过更新的新建哈希值表项的数量是否满足预设的要求，以决定是否将所接收的报文标记为采样报文。如此不再受哈希值随机分布的特性的干扰，确保在一定时间段内报文采样比例正确，避免了网络设备系统资源不必要的浪费。为了对本申请实施例进一步说明，提供下列实施例：

如图2所示，为本申请实施例提供的一种报文采样方法的实施流程图，该方法具体可以包括以下步骤：

S201，提取网络设备所接收的报文对应的特征信息；

在本申请实施例中，对于网络设备所接收的报文，可以提取其对应的特征信息，本申请实施例中的特征信息可以是五元组信息，当然也可以是其它信息，例如三元组信息，本申请实施例对此不作限定。故对于网络设备所接收的报文，可以提取其对应的五元组信息。

其中，考虑到网络设备接收报文的速率与对报文进行采样判断的速率存在差异，在本申请实施例中设置报文接收队列，该报文接收队列中缓存网络设备所接收的报文。对于该报文接收队列中已缓存的报文，判断其数量是否为空；若该报文接收队列中已缓存的报文的数量为非空，从该报文队列中获取网络设备所接收的报文，提取此报文的五元组信息。在本申请实施例中该报文接收队列可以是FIFO(先入先出队列)。

S202，根据预设的哈希算法计算所述特征信息对应的哈希值；

对于上述所提取的报文对应的特征信息，即五元组信息，根据预设的哈希算法计算该五元组信息对应的哈希值。

在本申请实施例中该哈希算法可以是CRC(Cyclic Redundancy Check，循环冗余校验)算法，CRC算法是通信技术领域普遍应用的校验算法，减小了哈希冲突的概率。

S203，新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；

针对上述所计算的哈希值，可以新建与其相匹配的哈希值表项，并对新建哈希值表项的数量进行更新。在本申请实施例中每新建一个哈希值表项，则新建哈希值表项的数量加1。该新建哈希值表项的数量可以用FPGA内部寄存器进行统计，每新建一个哈希值表项，FPGA内部寄存器统计的新建哈希值表项的数量加1，其中FPGA内部寄存器统计的新建哈希值表项的数量，在达到一定阈值时可以清零，例如FPGA内部寄存器统计的新建哈希值表项的数量达到100时清零。

其中，在新建与该哈希值相匹配的哈希值表项之前，从本地检索是否存在与该哈希值相匹配的哈希值表项；若本地不存在与该哈希值相匹配的哈希值表项，新建与该哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新。

另外，若本地存在与所述哈希值相匹配的哈希值表项，利用所接收的报文中记录的时间戳对与所述哈希值相匹配的哈希值表项中记录的时间戳进行更新。为了防止哈希值表项数量越来越多，在本申请实施例中对哈希值表项设置老化时间，哈希值表项在一定时间内，哈希值表项中记录的时间戳未更新的话，本申请实施例会删除该哈希值表项。

S204，判断经过更新的新建哈希值表项的数量是否满足预设的要求；

在上述对新建哈希值表项的数量进行更新之后，判断经过更新的新建哈希值表项的数量是否满足预设的要求，具体可以是：

判断经过更新的新建哈希值表项的数量是否小于预设阈值；

或者

判断经过更新的新建哈希值表项的数量是否达到预设阈值；

例如，新建哈希值表项的数量达到100时清零，预设阈值可以是11，判断经过更新的新建哈希值表项的数量是否小于11，可以达到十分之一的报文采样精度。

又例如，新建哈希值表项的数量达到100时清零，预设阈值可以是100，判断经过更新的新建哈希值表项的数量是否达到100(在新建哈希值表项的数量未清零之前)，可以达到百分之一的报文采样精度。

S205，若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文。

针对上述S204中所判断的结果，若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文，具体可以是：

若经过更新的新建哈希值表项的数量小于预设阈值，将所接收的报文标记为采样报文；

或者

若经过更新的新建哈希值表项的数量达到预设阈值，将所接收的报文标记为采样报文；

例如，新建哈希值表项的数量达到100时清零，预设阈值可以是11，经过更新的新建哈希值表项的数量为10，可知经过更新的新建哈希值表项的数量小于预设阈值，将所接收的报文标记为采样报文。

又例如，新建哈希值表项的数量达到100时清零，预设阈值可以是100，经过更新的新建哈希值表项的数量为100，可知经过更新的新建哈希值表项的数量达到预设阈值(在新建哈希值表项的数量未清零之前)，将所接收的报文标记为采样报文。

另外，若经过更新的新建哈希值表项的数量不小于预设阈值或者未达到预设阈值，对所接收的报文放弃采样。

对于上述采样报文，一方面进程正常的业务处理，另一方面可以将其进行标记，并转发至相应报文分析端。其中对于采样报文，同样可以先缓存至报文发送队列(例如FIFO)，后续可以将报文发送队列中的采样报文进行标记，并转发至相应报文分析端，本申请实施例对此不作限定。

通过上述对本申请实施例提供的技术方面的描述，通过对哈希值表项进行维护，对新建哈希值表项的数量进行更新，判断经过更新的新建哈希值表项的数量是否满足预设的要求，以决定是否将所接收的报文标记为采样报文。如此不再受哈希值随机分布的特性的干扰，确保在一定时间段内报文采样比例正确，避免了网络设备系统资源不必要的浪费。

与上述方法实施例相对应，本申请实施例还提供了一种报文采样装置，参见图3所示，该装置可以包括：信息提取模块310、哈希值计算模块320、数量更新模块330、数量判断模块340、采样标记模块350。

信息提取模块310，用于提取网络设备所接收的报文对应的特征信息；

哈希值计算模块320，用于根据预设的哈希算法计算所述特征信息对应的哈希值；

数量更新模块330，用于新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；

数量判断模块340，用于判断经过更新的新建哈希值表项的数量是否满足预设的要求；

采样标记模块350，用于若经过更新的新建哈希值表项的数量满足预设的要求，将所接收的报文标记为采样报文。

在本申请的一种具体实施方式中，所述信息提取模块310具体用于：

提取网络设备所接收的报文对应的五元组信息；

所述哈希值计算模块320具体用于：

根据预设的哈希算法计算所述五元组信息对应的哈希值。

上述装置中各个单元的作用实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

通过上述对本申请实施例提供的技术方面的描述，通过对哈希值表项进行维护，对新建哈希值表项的数量进行更新，判断经过更新的新建哈希值表项的数量是否满足预设的要求，以决定是否将所接收的报文标记为采样报文。如此不再受哈希值随机分布的特性的干扰，确保在一定时间段内报文采样比例正确，避免了网络设备系统资源不必要的浪费。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明可以在由计算机执行的计算值可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种报文采样方法，其特征在于，所述方法包括：

提取网络设备所接收的报文对应的特征信息；

根据预设的哈希算法计算所述特征信息对应的哈希值；

新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；其中，新建哈希值表项的数量在达到第一阈值的情况下清零；

判断经过更新的新建哈希值表项的数量是否小于预设阈值或者达到预设阈值；

若经过更新的新建哈希值表项的数量小于预设阈值或者达到预设阈值，将所接收的报文标记为采样报文。

2.根据权利要求1所述的方法，其特征在于，所述提取网络设备所接收的报文对应的特征信息，包括：

提取网络设备所接收的报文对应的五元组信息；

所述根据预设的哈希算法计算所述特征信息对应的哈希值，包括：

根据预设的哈希算法计算所述五元组信息对应的哈希值。

3.根据权利要求2所述的方法，其特征在于，所述提取网络设备所接收的报文对应的五元组信息，包括：

判断报文接收队列中已缓存的报文的数量是否为空，所述报文接收队列中已缓存的报文为网络设备所接收的报文；

若不为空，从所述报文接收队列中获取网络设备所接收的报文；

提取网络设备所接收的报文的五元组信息。

4.根据权利要求1所述的方法，其特征在于，所述新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新，包括：

从本地检索是否存在与所述哈希值相匹配的哈希值表项；

若本地不存在与所述哈希值相匹配的哈希值表项，新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若本地存在与所述哈希值相匹配的哈希值表项，利用所接收的报文中记录的时间戳对与所述哈希值相匹配的哈希值表项中记录的时间戳进行更新。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若经过更新的新建哈希值表项的数量不小于预设阈值或者未达到预设阈值，对所接收的报文放弃采样。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述哈希算法为CRC算法。

8.一种报文采样装置，其特征在于，所述装置包括：

信息提取模块，用于提取网络设备所接收的报文对应的特征信息；

哈希值计算模块，用于根据预设的哈希算法计算所述特征信息对应的哈希值；

数量更新模块，用于新建与所述哈希值相匹配的哈希值表项，并对新建哈希值表项的数量进行更新；其中，新建哈希值表项的数量在达到第一阈值的情况下清零；

数量判断模块，用于判断经过更新的新建哈希值表项的数量是否小于预设阈值或者达到预设阈值；

采样标记模块，用于若经过更新的新建哈希值表项的数量小于预设阈值或者达到预设阈值，将所接收的报文标记为采样报文。

9.根据权利要求8所述的装置，其特征在于，所述信息提取模块具体用于：

提取网络设备所接收的报文对应的五元组信息；

所述哈希值计算模块具体用于：

根据预设的哈希算法计算所述五元组信息对应的哈希值。

Images