CN110048961A - 基于asic的重复报文检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于ASIC的重复报文检测方法及系统，所述方法包括：解析报文，得到报文中的5‑tupple和l4Checksum字段；根据解析出的5‑tupple和l4Checksum字段，计算若干组哈希值，并选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；根据流索引在流表中进行查询；若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，进行丢弃处理，若不相同，则判定为另一条流的报文，进行正常转发；若在流表中未查询到该流索引，则判定该报文为第一次达到，将报文信息写入流表中。本发明在网络芯片ASIC中完成报文去重工作，大大提高了分流器的处理能力，降低了分析服务器的处理压力。

Description

基于ASIC的重复报文检测方法及系统

技术领域

本发明涉及网络芯片数据处理技术领域，特别是涉及一种基于ASIC的重复报文检测方法及系统。

背景技术

参图1所示为典型的分流网络拓扑架构，在这个拓扑下分流器(TAP设备)上会收到DataCenter Network中每个设备镜像过来的报文，由于同一个报文会经过多个Leaf、Spine、Core设备，因此在分流器上会收到多个同样的报文，而这些重复的报文对分析服务器没有用途，在进行网络分析前，需要将这些重复的报文删除掉，避免影响分析的效果。

现有技术中常用的方案有两种：

1、在分析服务器上做重复报文识别和删除，这个方案很灵活；缺点也很明显，性能是瓶颈；

2、在分流器后面做一个特殊的硬件，一般是FPGA，来完成重复报文的识别和删除，这个方案对性能提升有一点效果；但是缺点有2个，一个是会增加整个分流器方案的成本，需要额外的硬件，另外，FPGA和专用的网络处理芯片ASIC(Application SpecificIntegrated Circuit)比起来，性能差别还是比较大。

因此，针对上述技术问题，有必要提供一种基于ASIC的重复报文检测方法及系统。

发明内容

有鉴于此，本发明的目的在于提供一种基于ASIC的重复报文检测方法及系统。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种基于ASIC的重复报文检测方法，所述方法包括：

解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，并选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

根据流索引在流表中进行查询；

若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，进行丢弃处理，若不相同，则判定为另一条流的报文，进行正常转发；

若在流表中未查询到该流索引，则判定该报文为第一次达到，将报文信息写入流表中。

作为本发明的进一步改进，“将报文信息写入流表中”具体为：

将报文的l4Checksum字段和附属属性flowId写入流表中对应流索引的位置。

作为本发明的进一步改进，所述方法中，报文在流表中保留的理论时延为每个交换机的时延之和。

作为本发明的进一步改进，所述流表的老化时间为理论时延的2～3倍。

作为本发明的进一步改进，所述方法还包括：

根据解析出的5-tupple和l4Checksum字段，计算N(N＞1)组哈希值，并选取一个哈希值作为流索引，选取n(n≤N-1)个哈希值作为该报文的附属属性flowId。

本发明另一实施例提供的技术方案如下：

一种基于ASIC的重复报文检测系统，所述系统包括：

解析器，用于解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

哈希计算器，用于根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

流表，用于根据流索引存储报文的校验和FLOW.checkSum和附属属性FLOW.flowId；

查询单元，用于根据流索引在流表中进行查询；

判断单元，用于判断报文是否为重复报文，若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，若不相同，则判定为另一条流的报文；若在流表中未查询到该流索引，则判定该报文为第一次达到；

处理单元，用于根据判断单元的结构对报文进行丢弃或转发处理。

作为本发明的进一步改进，所述处理单元还用于：

若在流表中未查询到该流索引时，将报文的l4Checksum字段和附属属性flowId写入流表中对应流索引的位置。

作为本发明的进一步改进，所述报文在流表中保留的理论时延为每个交换机的时延之和。

作为本发明的进一步改进，所述流表的老化时间为理论时延的2～3倍。

作为本发明的进一步改进，所述哈希计算器还用于：

根据解析出的5-tupple和l4Checksum字段，计算N(N＞1)组哈希值，并选取一个哈希值作为流索引，选取n(n≤N-1)个哈希值作为该报文的附属属性flowId。

本发明具有以下有益效果：

在网络芯片ASIC中完成报文去重工作，大大提高了分流器的处理能力，降低了分析服务器的处理压力；

在一个网络芯片ASIC中同时提供分流和去重功能，降低了分流网络整体方案成本的同时，还提高了分流网络方案的处理性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为典型的分流网络拓扑架构图；

图2为本发明基于ASIC的重复报文检测方法的流程示意图；

图3为本发明基于ASIC的重复报文检测方法的模块示意图；

图4a-4c分别为IP头、TCP头、UDP头的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图2所示，本发明公开了一种基于ASIC的重复报文检测方法，包括以下步骤：

解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，并选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

根据流索引在流表中进行查询；

若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，进行丢弃处理，若不相同，则判定为另一条流的报文，进行正常转发；

若在流表中未查询到该流索引，则判定该报文为第一次达到，将报文信息写入流表中。

参图3所示，本发明还公开了一种基于ASIC的重复报文检测系统，包括：

解析器，用于解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

哈希计算器，用于根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

流表，用于根据流索引存储报文的校验和FLOW.checkSum和附属属性FLOW.flowId；

查询单元，用于根据流索引在流表中进行查询；

判断单元，用于判断报文是否为重复报文，若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，若不相同，则判定为另一条流的报文；若在流表中未查询到该流索引，则判定该报文为第一次达到；

处理单元，用于根据判断单元的结构对报文进行丢弃或转发处理。

以下结合图2、图3对本发明进行详细说明。

本发明中基于ASIC的重复报文检测系统包括解析器(Parser)、哈希计算器(HashCalculate)、流表(FLOW_TABLE)等硬件架构，具体检测方法如下。

首先，解析器(Parser)解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段。

然后，哈希计算器(Hash Calculate)根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，并选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId

参图4a-4c分别为IP头、TCP头、UDP头的示意图，现有技术中一般使用5-tupple(ipSa(ip源地址)、ipDa(ip目的地址)、l3Protocol(ip协议号)、l4sourcePort(传输层源端口)、l4DestPort(传输层目的端口))来标识一条流；使用sequenceNumber(序号)来标识这条流中的报文顺序，而本发明中的报文字段选择使用ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort、l4checksum。

本发明中没有选用sequenceNumber主要考虑有2点，一是sequencenumber可能乱序，二是UDP没有sequenceNumber；本发明使用l4Checksum(校验和)，这个字段在TCP和UDP中都存在，而且是根据整个报文数据计算出来的，可以用来标识一条流中不同报文。

根据上面选定的报文字段，计算出多组哈希值，比如N组hash值(N＞1)，从这些哈希值中选取一个作为流表(FLOW_TABLE)的流索引(flow_index)。另外，为了进一步降低可能的误检测，可以再选择n(n≤N-1)个哈希值作为这个报文的附属属性flowId。这么设计的目的是，将两个不同的flow_index流的识别出来，一般来说，flow_index和flowId都一样的报文，基本上就是同一个报文了。

流索引(flow_index)和附属属性flowId确定后，根据流索引(flow_index)在流表(FLOW_TABLE)中进行查询。流表(FLOW_TABLE)是硬件中的一块Memory，其中对应的流索引(flow_index)存储对应的校验和FLOW.checkSum和附属属性FLOW.flowId。

若在流表(FLOW_TABLE)中查询到该流索引(flow_index)，说明这个报文已经存在过：

比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，进行丢弃处理，若不相同，则判定为另一条流的报文，进行正常转发。为了进一步降低误检测率，流表(FLOW_TABLE)中可以存入多个附属属性flowId。

若在流表(FLOW_TABLE)中未查询到该流索引(flow_index)，则判定该报文为第一次达到，将报文的l4Checksum字段和附属属性flowId写入流表中对应流索引(flow_index)的位置。

优选地，本发明中流表(FLOW_TABLE)中的entry支持老化功能，目的尽可能地提高硬件中FLOW_TABLE的利用率：

b)一个报文在网络中转发的时间是可预测的，报文在流表中保留的理论时延为每个交换机的时延之和。比如在一个网络拓扑中有5个交换机，每个交换机的时延是1ms，那么理论上这个报文在流表FLOW_TABLE中只需要保留5ms就可以了；

b)考虑到网络的突发性，本发明将流表的老化时间设置成理论时延的2-3倍；

c)老化的处理和普通的MAC地址老化一样，机制上没有区别，此处不再进行赘述。

如此，本发明中同一个报文在多个交换机上做了镜像到达分流器后，能够将重复的报文识别出来并丢弃掉，只转发一份报文给分析服务器。

由以上技术方案可以看出，本发明具有以下优点：

在网络芯片ASIC中完成报文去重工作，大大提高了分流器的处理能力，降低了分析服务器的处理压力；

在一个网络芯片ASIC中同时提供分流和去重功能，降低了分流网络整体方案成本的同时，还提高了分流网络方案的处理性能。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于ASIC的重复报文检测方法，其特征在于，所述方法包括：

解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，并选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

根据流索引在流表中进行查询；

若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，进行丢弃处理，若不相同，则判定为另一条流的报文，进行正常转发；

若在流表中未查询到该流索引，则判定该报文为第一次达到，将报文信息写入流表中。

2.根据权利要求1所述的基于ASIC的重复报文检测方法，其特征在于，“将报文信息写入流表中”具体为：

将报文的l4Checksum字段和附属属性flowId写入流表中对应流索引的位置。

3.根据权利要求1所述的基于ASIC的重复报文检测方法，其特征在于，所述方法中，报文在流表中保留的理论时延为每个交换机的时延之和。

4.根据权利要求3所述的基于ASIC的重复报文检测方法，其特征在于，所述流表的老化时间为理论时延的2～3倍。

5.根据权利要求1所述的基于ASIC的重复报文检测方法，其特征在于，所述方法还包括：

根据解析出的5-tupple和l4Checksum字段，计算N(N＞1)组哈希值，并选取一个哈希值作为流索引，选取n(n≤N-1)个哈希值作为该报文的附属属性flowId。

6.一种基于ASIC的重复报文检测系统，其特征在于，所述系统包括：

解析器，用于解析报文，得到报文中的5-tupple和l4Checksum字段，5-tupple字段包括ipSa、ipDa、l3Protocol、l4sourcePort、l4DestPort字段；

哈希计算器，用于根据解析出的5-tupple和l4Checksum字段，计算若干组哈希值，选取一个哈希值作为流索引，选取若干个哈希值作为该报文的附属属性flowId；

流表，用于根据流索引存储报文的校验和FLOW.checkSum和附属属性FLOW.flowId；

查询单元，用于根据流索引在流表中进行查询；

判断单元，用于判断报文是否为重复报文，若在流表中查询到该流索引，比较报文中的l4Checksum字段和附属属性flowId是否与流表中流索引对应的校验和FLOW.checkSum和附属属性FLOW.flowId相同，若相同则判定为重复报文，若不相同，则判定为另一条流的报文；若在流表中未查询到该流索引，则判定该报文为第一次达到；

处理单元，用于根据判断单元的结构对报文进行丢弃或转发处理。

7.根据权利要求6所述的基于ASIC的重复报文检测系统，其特征在于，所述处理单元还用于：

若在流表中未查询到该流索引时，将报文的l4Checksum字段和附属属性flowId写入流表中对应流索引的位置。

8.根据权利要求6所述的基于ASIC的重复报文检测系统，其特征在于，所述报文在流表中保留的理论时延为每个交换机的时延之和。

9.根据权利要求8所述的基于ASIC的重复报文检测系统，其特征在于，所述流表的老化时间为理论时延的2～3倍。

10.根据权利要求6所述的基于ASIC的重复报文检测系统，其特征在于，所述哈希计算器还用于：

根据解析出的5-tupple和l4Checksum字段，计算N(N＞1)组哈希值，并选取一个哈希值作为流索引，选取n(n≤N-1)个哈希值作为该报文的附属属性flowId。