CN109672669A - 流量报文的过滤方法及装置 - Google Patents
流量报文的过滤方法及装置 Download PDFInfo
- Publication number
- CN109672669A CN109672669A CN201811467163.5A CN201811467163A CN109672669A CN 109672669 A CN109672669 A CN 109672669A CN 201811467163 A CN201811467163 A CN 201811467163A CN 109672669 A CN109672669 A CN 109672669A
- Authority
- CN
- China
- Prior art keywords
- rule
- information
- network flow
- combination
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
- H04L45/745—Address table lookup; Address filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
- H04L45/745—Address table lookup; Address filtering
- H04L45/7453—Address table lookup; Address filtering using hashing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种流量报文的过滤方法及装置,该流量报文的过滤方法包括:解析提取网络流量报文中的关键字段信息,并将关键字段信息组装成第一规则查找信息;根据第一规则查找信息,查询预设的第一规则表;若第一规则查找信息在第一规则表中没有匹配的信息,则对网络流量报文执行丢弃处理;若第一规则查找信息在第一规则表中有匹配的信息,则根据第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对网络流量报文执行相应的处理。本发明在网络分析设备中不需要在报文第一次接收时就进行一系列深层次组合规则的报文解析,从而大幅度的提升硬件资源的访问速度和效率。
Description
技术领域
本发明涉及流量处理领域,特别涉及一种流量报文的过滤方法及装置。
背景技术
伴随着互联网的高速发展,各种网络业务的层出不穷,从而带来了各种的网络流量,导致分析用户行为的分析人物更加繁重,所以需要快速高效的过滤定位出需要分析的部分流量。现有的网络分析流量过滤设备的处理方法中,通常包括了基于用户预设的规则处理流程,其中主要的处理流程包括了对预设的规则表的匹配的处理,通过抓取目标网络流量;基于目标协议类型对所述目标网络流量进行报文格式解析,获取该目标网络流量中携带的与文件格式相关联的内容关键字;将所述内容关键字与预设关键字进行匹配,若所述内容关键字匹配所述预设关键字,过滤并保存携带有所述内容关键字的目标网络流量。如中国发明专利,专利申请号:201710087243.2,名称为《流量过滤方法及装置》,就介绍了这种报文处理的方法。参见图1,在该发明中,分片信息处理步骤包括:
步骤1,接收报文,并解析其中的关键信息,
步骤2,基于目标协议的类型对所述目标网络流量进行报文解析,获取该目标网络流量中携带的相关联的内容关键字;
步骤3,将从网络流量中提取出的内容关键字与预设关键字进行匹配,若所述内容关键字匹配预设关键字,过滤并保存携带有所述内容关键字的目标网络流量。
该专利文献所揭示的流量过滤的处理方案,对抓取到的目标网络流量分析时,通过用户预设的关键字规则表进行匹配,根据解析目标流量中的携带的关键字与预设的比较,从而过滤出所需要的目标流量并保存,同时也与文件格式相关联,对文件格式的内容也进行了匹配,可根据文件类型过滤出部分流量,从而提高了部分性能。但是这种方法中没有考虑到用户预设规则时对于规则匹配的次数和复杂度方面考虑,大多数的网络流量并不需要进行深层次的规则匹配,也没有考虑到硬件资源的频繁访问导致的设备性能下降。
发明内容
有鉴于此,本发明旨在提供一种流量报文的过滤方法及装置,以实现能够快速而精确的过滤流量报文,减少设备的成本投入,提高网络分析设备的处理性能。
具体而言,本发明提供一种流量报文的过滤方法,包括:解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理;若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
进一步地,所述根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理包括:
判断所述第一规则表中对应的组合规则标记信息是否为预设的组合规则标识;
若为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理;
若不为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的执行动作信息,对所述网络流量报文执行相应的处理;所述执行动作信息包括转发动作信息。
进一步地,所述根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理的步骤包括:
根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,判断是否为组合规则的第一类子集或为组合规则的第二类子集;
若一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第一类子集且另一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第二类子集,则根据一个所述网络流量报文对应的组合规则索引下标信息以及另一个所述网络流量报文对应的组合规则索引下标信息组建第二规则查找信息;
根据所述第二规则查找信息,查询预设的第二规则表;所述第二规则表中存储有第一类子集、第二类子集关联形成的组合规则信息以及对应的组合规则执行动作信息;
若所述第二规则查找信息在所述第二规则表中没有匹配的组合规则信息,则对一个所述网络流量报文以及另一个所述网络流量报文执行丢弃处理;
若所述第一规则查找信息在所述第二规则表中有匹配的组合规则信息,对一个所述网络流量报文以及另一个所述网络流量报文执行转发处理。
进一步地,所述网络流量报文的协议版本号为第四层协议的协议类型。
进一步地,所述第一规则查找信息元组规则表为Hash表。
进一步地,所述第一类子集的个数为127,所述第二类子集的个数为127。
另一方面本发明提供一种流量报文的过滤装置,包括:
解析单元,用于解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;
查找单元,用于根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;
报文处理单元,若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理;若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
进一步地,所述报文处理单元包括:
判断模块,用于判断所述第一规则表中对应的组合规则标记信息是否为预设的组合规则标识;
第一报文处理模块,用于若为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理;
第二报文处理模块,用于若不为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的执行动作信息,对所述网络流量报文执行相应的处理;所述执行动作信息包括转发动作信息。
进一步地,所述第一报文处理模块还包括:
判断子模块,用于根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,判断是否为组合规则的第一类子集或为组合规则的第二类子集;
报文信息组建子模块,用于若一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第一类子集且另一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第二类子集,则根据一个所述网络流量报文对应的组合规则索引下标信息以及另一个所述网络流量报文对应的组合规则索引下标信息组建第二规则查找信息;
报文信息查找子模块,用于根据所述第二规则查找信息,查询预设的第二规则表;所述第二规则表中存储有第一类子集、第二类子集关联形成的组合规则信息以及对应的组合规则执行动作信息;
第一报文信息处理子模块,用于若所述第二规则查找信息在所述第二规则表中没有匹配的组合规则信息,则对一个所述网络流量报文以及另一个所述网络流量报文执行丢弃处理;
第二报文信息处理子模块,用于若所述第一规则查找信息在所述第二规则表中有匹配的组合规则信息,对一个所述网络流量报文以及另一个所述网络流量报文执行转发处理。
进一步地,所述网络流量报文的协议版本号为第四层协议的协议类型;所述第一规则查找信息元组规则表为Hash表;所述第一类子集的个数为127,所述第二类子集的个数为127。
本发明的流量报文的过滤方法及装置,根据所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息对报文进行过滤,能够快速而精确的过滤流量报文,并且减少了设备的成本投入,提高了网络分析设备的处理性能,在网络分析设备中不需要在报文第一次接收时就进行一系列深层次组合规则的报文解析,从而大幅度的提升硬件资源的访问速度和效率。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与描述一起用于解释本发明的原理。在这些附图中,类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例,而不是全部实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。
图1为现有的流量报文的过滤方法的流程图;
图2为本发明第一实施例提供的流量报文的过滤方法的流程图;
图3为本发明第二实施例提供的流量报文的过滤方法的流程图;
图4为本发明第三实施例提供的流量报文的过滤方法的流程图;
图5为本发明实施例提供的流量报文的过滤装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图2为本发明第一实施例提供的流量报文的过滤方法的流程图,包括以下步骤:
步骤201:解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;
步骤203:根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;
步骤205:判断所述第一规则查找信息在所述第一规则表中是否有匹配的信息?
步骤207:若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
步骤209:若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理。
本实施例的流量报文的过滤方法,根据所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息对报文进行过滤,能够快速而精确的过滤流量报文,并且减少了设备的成本投入,提高了网络分析设备的处理性能,在网络分析设备中不需要在报文第一次接收时就进行一系列深层次组合规则的报文解析,从而大幅度的提升硬件资源的访问速度和效率。
作为一种优选的实施例,图3对图2中的各步骤进行了具体示例,图3为本发明第二实施例提供的流量报文的过滤方法的流程图,如图3所示,该流量报文的过滤方法包括:
步骤3.1,网络流量报文进入规则处理模块;
步骤3.2,解析提取源MAC(网络流量报文的来源设备物理地址,简称SMAC),目的MAC(网络流量报文的目的设备物理地址,简称DMAC),源IP(网络流量报文的来源设备IP地址,简称SrcIP),目的IP(网络流量报文的目的设备IP地址,简称DstIP),协议版本号(简称Protocol),组装五元组规则查找Key(即第一规则查找信息);具体地,源MAC是值报文的来源设备物理地址;目的MAC是指报文发送到的目的设备物理地址;源IP是指报文的来源设备的IP地址;目的IP是指发往目的设备的IP地址;协议版本号,是指报文的第四层协议的协议类型;
步骤3.3,根据五元组规则查找Key,查询五元组规则表(第一规则表);五元组规则表是指由用户下发的一类规则表,其中的访问控制项由源MAC,目的MAC,源IP,目的IP,协议版本号等关键信息组成的Key和报文的具体的执行动作即丢弃、转发和是否是组合规则的特征标记iscombine标记以及具体的规则索引下标组合的Hash表。若用户需要报文做深层次的组合规则的匹配,则需要下发规则时,组合规则标记位为isCombine置为1,且给出组合规则下标给出具体的值;
步骤3.4,判断五元组规则查找Key是否五元组规则命中,即五元组规则查找Key是否在所述第一规则表中有匹配的信息;若不命中五元组规则,则执行步骤3.9;
步骤3.5,若规则命中,进一步根据规则表中的结果判断输入的报文是否符合组合规则的子集的特征;
步骤3.6,若不符合组合规则的子集的特征,则根据普通型五元组规则查询结果执行转发动作;
步骤3.7,若根据五元组规则的查询结果判断出属于组合规则子集的特征,则判断组合规则是否命中;
步骤3.8,若组合规则命中,则根据组合规则的查询结果,执行相应的转发动作;
步骤3.9,若组合规则没有命中,则将报文进行丢弃处理。
作为进一步的优选的实施例,图4对图3中的步骤3.5的判断之后,确定符合组合规则子集报文特征,之后的流程进行了进一步的具体示例,图4为本发明第三实施例提供的流量报文的过滤方法的流程图,由于步骤3.1-步骤3.5与步骤4.1-步骤4.5相同,步骤3.6,步骤3.9分别与步骤4.12及步骤4.13相同,在此不再赘述,如图4所示,该流量报文的过滤方法包括:
在经过步骤4.5判断确定符合组合规则子集报文特征之后,执行步骤4.6,判断是否符合A类组合规则的子集的特征,若符合则执行步骤4.7;若不符合则执行步骤4.8;
步骤4.7记录A类子集的元素a的下标;报文命中五元组规则后从命中后的五元组规则结果域中取出A类子集下标index,组合规则Key的组装就是由下标index填充到的对应前128Bit某个Bit位上,其他位置0;
步骤4.8记录B类子集的元素b的下标;报文命中五元组规则后从命中后的五元组规则结果域中取出B类子集下标index,组合规则Key的组装就是由下标index填充到的对应后128Bit某个Bit位上,其他位置0;
步骤4.9,若两条网络流量报文中的一条经过图4的步骤4.6判断确定属于A类子集的元素,并经过步骤4.7处理后记录A类子集的元素a的下标,另一条经过图4的步骤4.8判断确定属于B类子集的元素,并经过步骤4.8处理后记录B类子集的元素b的下标;则根据A类子集规则a的下标index1和B类子集规则b的下标index2构造组合规则的查询Key(即第二规则查找信息)。
上述步骤中,组合规则表是指两条网络流量报文在命中五元组规则的基础上,均命中组合使用的规则方法,其中A组规则子集(A1、A3...Am)和B组规则子集(B1、B3...Bn),通过命令配置A组成员Am与B组成员Bn关联为一条组合规则。其中m、n为规则下标index组号,1<<m<<127,1<<n<<127;所以组合规则的条目数最大支持m*n。用公式表示为用公式表示为:
Am&Bn={a1||a2||......ai}&{b1||b2||......||bj},其中i>0,j>0表示规则成员下标。Am&Bn表示组号分别为m和n的一条组合规则。ai(aiεAm)称为组号为m的A组中的一个成员。Bj(bjεBn)称为组号为n的B组中的一个成员。组合规则是存储在TCAM芯片中的一种掩码规则表,这种表项的存储设计是一条表现Key分为俩段128Bits即共长256Bits,前128Bits存储A类子集aj规则的下标index,后128Bits存储B类子集bj规则的下标index,合并起来组合一条256Bits位长的key和网络流量的具体的执行动作即丢弃、转发组合的掩码表。其中该步骤4.9构造的查找Key,即组合规则的Key的构造是根据规则A类规则和B类规则同时构造出来的,只有俩条五元组规则同时命中且分别属于A类和B类时成立。当只有其中一条命中或者五元组规则结果域中组合规则标记位为0时都无法继续进行组合规则查询。
步骤4.10,基于步骤4.9构造的查找Key,判断是否命中组合规则。
步骤4.11,组合规则的命中后,根据组合规则的查询结果是丢弃还是转发,若是转发则根据报文的目的MAC,发往目的端口。
步骤4.13若组合规则不命中,则执行报文丢弃动作。
上述步骤中,组合规则的匹配是继五元组规则之后的深层次的匹配,若组合规则匹配失败,也就是整个完整规则匹配失败,执行丢弃操作。上述步骤中,五元组规则命中是组合规则继续进行匹配的前提,在五元组规则的匹配结果中有关于组合规则匹配相关的标记位和子集规则下标index,若五元组规则不命中,网络流量直接丢弃不继续执行组合规则查找,达到预置过滤流量的目的,提高设备处理的性能。
本发明中的提供的流量报文过滤方法,改进部分主要体现在三个方面。
第一方面对于需要多重规则并行处理的时候,采用五元组规则+组合规则的方式,可有效的减少规则表的查表复杂度,从而可达到性能大幅度提升的效果。
第二方面对于需要深层次过滤的流量报文,可通过前置的五元组规则筛选出来,然后通过组合规则进一步过滤,从而达到精确过滤某一特征的流量,提高性能。
第三方面使用HASH表和TCAM掩码表的俩种形式的配合使用,可避免了由于过度使用单一HASH的冲突大和单一使用TCAM价格昂贵的问题,从而大大提升性能的同时减少了成本。
作为又一实施例,上述优选实施例中,所述的组合规则表的大小的临界值m、n可以是预置于硬件中,在设备启动成功后自动生效。作为又一实施例,组合规则表的大小的临界值m、n也是可以是动态调整的,在设备启动成功后用户可根据实际所需的情况调整大小。作为又一实施例,上述优选实施例中,步骤4.6,参考图4,若五元组规则的组合规则标记位置为1,但是A类规则或者B类仅命中一种,若用户希望对于A类或者B类规则的忽略,则可完全填充对应的128Bit为0作为掩码的方式,然后根据查表结果执行步骤4.10,根据组合规则表的查询结果,若命中执行步骤4.11,否则执行步骤4.13。
本实施例根据报文的关键五元组信息对报文进行过滤,在网络分析设备中不需要在报文第一次接收时就进行一系列深层次组合规则的的报文解析,从而大幅度的提升硬件资源的访问速度和效率,能够快速而精确的过滤流量报文,并且减少了设备的成本投入,提高了网络分析设备的处理性能。
图5为本发明实施例提供的流量报文的过滤装置的结构示意图,如图5所示,流量报文的过滤装置包括:
解析单元501,用于解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;
查找单元503,用于根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;
报文处理单元505,若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理;若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
进一步地,所述报文处理单元505包括:
判断模块5051,用于判断所述第一规则表中对应的组合规则标记信息是否为预设的组合规则标识;
第一报文处理模块5052,用于若为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理;
第二报文处理模块5053,用于若不为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的执行动作信息,对所述网络流量报文执行相应的处理;所述执行动作信息包括转发动作信息。
进一步地,所述第一报文处理模块5052还包括:
判断子模块(图未示),用于根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,判断是否为组合规则的第一类子集或为组合规则的第二类子集;
报文信息组建子模块(图未示),用于若一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第一类子集且另一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第二类子集,则根据一个所述网络流量报文对应的组合规则索引下标信息以及另一个所述网络流量报文对应的组合规则索引下标信息组建第二规则查找信息;
报文信息查找子模块(图未示),用于根据所述第二规则查找信息,查询预设的第二规则表;所述第二规则表中存储有第一类子集、第二类子集关联形成的组合规则信息以及对应的组合规则执行动作信息;
第一报文信息处理子模块(图未示),用于若所述第二规则查找信息在所述第二规则表中没有匹配的组合规则信息,则对一个所述网络流量报文以及另一个所述网络流量报文执行丢弃处理;
第二报文信息处理子模块(图未示),用于若所述第一规则查找信息在所述第二规则表中有匹配的组合规则信息,对一个所述网络流量报文以及另一个所述网络流量报文执行转发处理。
本实施例通过对报文进行过滤,在网络分析设备中不需要在报文第一次接收时就进行一系列深层次组合规则的的报文解析,从而大幅度的提升资源的访问速度和效率,能够快速而精确的过滤流量报文,并且减少了设备的成本投入,提高了网络分析设备的处理性能。
本领域普通技术人员可以理解,实现上述实施例的全部或者部分步骤/单元/模块可以通过程序指令相关的硬件来完成,前述程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述实施例各单元中对应的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光碟等各种可以存储程序代码的介质。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种流量报文的过滤方法,其特征在于,包括:
解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;
根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;
若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理;
若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
2.如权利要求1所述的流量报文的过滤方法,其特征在于,所述根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理包括:
判断所述第一规则表中对应的组合规则标记信息是否为预设的组合规则标识;
若为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理;
若不为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的执行动作信息,对所述网络流量报文执行相应的处理;所述执行动作信息包括转发动作信息。
3.如权利要求2所述的流量报文的过滤方法,其特征在于,所述根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理的步骤包括:
根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,判断是否为组合规则的第一类子集或为组合规则的第二类子集;
若一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第一类子集且另一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第二类子集,则根据一个所述网络流量报文对应的组合规则索引下标信息以及另一个所述网络流量报文对应的组合规则索引下标信息组建第二规则查找信息;
根据所述第二规则查找信息,查询预设的第二规则表;所述第二规则表中存储有第一类子集、第二类子集关联形成的组合规则信息以及对应的组合规则执行动作信息;
若所述第二规则查找信息在所述第二规则表中没有匹配的组合规则信息,则对一个所述网络流量报文以及另一个所述网络流量报文执行丢弃处理;
若所述第一规则查找信息在所述第二规则表中有匹配的组合规则信息,对一个所述网络流量报文以及另一个所述网络流量报文执行转发处理。
4.如权利要求3所述的流量报文的过滤方法,其特征在于,所述网络流量报文的协议版本号为第四层协议的协议类型。
5.如权利要求4所述的流量报文的过滤方法,其特征在于,所述第一规则查找信息元组规则表为Hash表。
6.如权利要求5所述的流量报文的过滤方法,其特征在于,所述第一类子集的个数为127,所述第二类子集的个数为127。
7.一种流量报文的过滤装置,其特征在于,包括:
解析单元,用于解析提取网络流量报文中的关键字段信息,并将所述关键字段信息组装成第一规则查找信息,所述关键字段信息包括网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号;
查找单元,用于根据所述第一规则查找信息,查询预设的第一规则表;所述第一规则表中存储有各种网络流量报文的来源设备物理地址、网络流量报文的目的设备物理地址、网络流量报文的来源设备IP地址、网络流量报文的目的设备IP地址、以及网络流量报文的协议版本号信息以及对应的执行动作信息、组合规则标记信息与组合规则索引下标信息;
报文处理单元,若所述第一规则查找信息在所述第一规则表中没有匹配的信息,则对所述网络流量报文执行丢弃处理;若所述第一规则查找信息在所述第一规则表中有匹配的信息,则根据所述第一规则表中对应的执行动作信息、组合规则标记信息与组合规则索引下标信息,对所述网络流量报文执行相应的处理。
8.如权利要求7所述的流量报文的过滤装置,其特征在于,所述报文处理单元包括:
判断模块,用于判断所述第一规则表中对应的组合规则标记信息是否为预设的组合规则标识;
第一报文处理模块,用于若为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,对所述网络流量报文执行相应的处理;
第二报文处理模块,用于若不为预设的组合规则标识,则根据所述网络流量报文在所述第一规则表中对应的执行动作信息,对所述网络流量报文执行相应的处理;所述执行动作信息包括转发动作信息。
9.如权利要求8所述的流量报文的过滤装置,其特征在于,所述第一报文处理模块还包括:
判断子模块,用于根据所述网络流量报文在所述第一规则表中对应的组合规则索引下标信息,判断是否为组合规则的第一类子集或为组合规则的第二类子集;
报文信息组建子模块,用于若一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第一类子集且另一个所述网络流量报文对应的组合规则索引下标信息为组合规则的第二类子集,则根据一个所述网络流量报文对应的组合规则索引下标信息以及另一个所述网络流量报文对应的组合规则索引下标信息组建第二规则查找信息;
报文信息查找子模块,用于根据所述第二规则查找信息,查询预设的第二规则表;所述第二规则表中存储有第一类子集、第二类子集关联形成的组合规则信息以及对应的组合规则执行动作信息;
第一报文信息处理子模块,用于若所述第二规则查找信息在所述第二规则表中没有匹配的组合规则信息,则对一个所述网络流量报文以及另一个所述网络流量报文执行丢弃处理;
第二报文信息处理子模块,用于若所述第一规则查找信息在所述第二规则表中有匹配的组合规则信息,对一个所述网络流量报文以及另一个所述网络流量报文执行转发处理。
10.如权利要求9所述的流量报文的过滤装置,其特征在于,所述网络流量报文的协议版本号为第四层协议的协议类型;所述第一规则查找信息元组规则表为Hash表;所述第一类子集的个数为127,所述第二类子集的个数为127。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811467163.5A CN109672669B (zh) | 2018-12-03 | 2018-12-03 | 流量报文的过滤方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811467163.5A CN109672669B (zh) | 2018-12-03 | 2018-12-03 | 流量报文的过滤方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109672669A true CN109672669A (zh) | 2019-04-23 |
CN109672669B CN109672669B (zh) | 2021-07-30 |
Family
ID=66145010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811467163.5A Active CN109672669B (zh) | 2018-12-03 | 2018-12-03 | 流量报文的过滤方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109672669B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110351359A (zh) * | 2019-07-09 | 2019-10-18 | 泰康保险集团股份有限公司 | 报文数据处理方法、装置、电子设备及计算机可读介质 |
CN110866037A (zh) * | 2019-11-19 | 2020-03-06 | 中国民航信息网络股份有限公司 | 一种报文的过滤方法及装置 |
CN111917738A (zh) * | 2020-07-14 | 2020-11-10 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 可支持网络高层协议的处理方法及系统 |
CN112367262A (zh) * | 2020-08-20 | 2021-02-12 | 国家计算机网络与信息安全管理中心 | 一种五元组规则的匹配方法及装置 |
CN112559283A (zh) * | 2020-12-08 | 2021-03-26 | 中国联合网络通信集团有限公司 | 信令记录处理方法、装置及设备 |
CN112968841A (zh) * | 2021-03-04 | 2021-06-15 | 杭州迪普信息技术有限公司 | 报文汇聚分流方法、装置和电子设备 |
CN113204570A (zh) * | 2021-04-14 | 2021-08-03 | 福建星瑞格软件有限公司 | 一种基于数据特征的数据库协议识别方法及装置 |
CN113852635A (zh) * | 2021-09-26 | 2021-12-28 | 招商银行股份有限公司 | 任务处理方法、装置、终端设备及存储介质 |
CN113923270A (zh) * | 2021-08-30 | 2022-01-11 | 北京百卓网络技术有限公司 | 一种报文的处理方法、装置、设备及可读存储介质 |
CN114244618A (zh) * | 2021-12-22 | 2022-03-25 | 北京天融信网络安全技术有限公司 | 一种异常访问检测方法、装置、电子设备及存储介质 |
CN114598530A (zh) * | 2022-03-09 | 2022-06-07 | 上海中广核工程科技有限公司 | 工控防火墙白名单规则匹配方法、装置及相关设备 |
CN114615231A (zh) * | 2022-03-04 | 2022-06-10 | 北京理工大学 | 一种基于名字提取的网络包处置方法及系统 |
CN114884882A (zh) * | 2022-06-16 | 2022-08-09 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
CN115883681A (zh) * | 2023-02-08 | 2023-03-31 | 天翼云科技有限公司 | 报文解析方法、装置、电子设备及存储介质 |
CN117278660A (zh) * | 2023-11-21 | 2023-12-22 | 华信咨询设计研究院有限公司 | 一种基于dpdk技术的流量过滤的协议解析方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150195206A1 (en) * | 2008-06-24 | 2015-07-09 | Intel Corporation | Packet switching |
CN105871573A (zh) * | 2015-01-20 | 2016-08-17 | 国家计算机网络与信息安全管理中心 | 一种报文分析过滤方法及装置 |
CN105939284A (zh) * | 2016-01-08 | 2016-09-14 | 杭州迪普科技有限公司 | 报文控制策略的匹配方法及装置 |
CN107508827A (zh) * | 2017-09-15 | 2017-12-22 | 通鼎互联信息股份有限公司 | 一种报文解析方法及装置 |
CN107948076A (zh) * | 2017-12-29 | 2018-04-20 | 杭州迪普科技股份有限公司 | 一种转发报文的方法及装置 |
CN108011823A (zh) * | 2016-11-01 | 2018-05-08 | 中兴通讯股份有限公司 | 多域流表的多级化方法及装置、多级流表查找方法及装置 |
CN108737217A (zh) * | 2018-06-01 | 2018-11-02 | 杭州迪普科技股份有限公司 | 一种抓包方法及装置 |
-
2018
- 2018-12-03 CN CN201811467163.5A patent/CN109672669B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150195206A1 (en) * | 2008-06-24 | 2015-07-09 | Intel Corporation | Packet switching |
CN105871573A (zh) * | 2015-01-20 | 2016-08-17 | 国家计算机网络与信息安全管理中心 | 一种报文分析过滤方法及装置 |
CN105939284A (zh) * | 2016-01-08 | 2016-09-14 | 杭州迪普科技有限公司 | 报文控制策略的匹配方法及装置 |
CN108011823A (zh) * | 2016-11-01 | 2018-05-08 | 中兴通讯股份有限公司 | 多域流表的多级化方法及装置、多级流表查找方法及装置 |
CN107508827A (zh) * | 2017-09-15 | 2017-12-22 | 通鼎互联信息股份有限公司 | 一种报文解析方法及装置 |
CN107948076A (zh) * | 2017-12-29 | 2018-04-20 | 杭州迪普科技股份有限公司 | 一种转发报文的方法及装置 |
CN108737217A (zh) * | 2018-06-01 | 2018-11-02 | 杭州迪普科技股份有限公司 | 一种抓包方法及装置 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110351359A (zh) * | 2019-07-09 | 2019-10-18 | 泰康保险集团股份有限公司 | 报文数据处理方法、装置、电子设备及计算机可读介质 |
CN110866037A (zh) * | 2019-11-19 | 2020-03-06 | 中国民航信息网络股份有限公司 | 一种报文的过滤方法及装置 |
CN110866037B (zh) * | 2019-11-19 | 2022-09-20 | 中国民航信息网络股份有限公司 | 一种报文的过滤方法及装置 |
CN111917738B (zh) * | 2020-07-14 | 2022-03-18 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 可支持网络高层协议的处理方法及系统 |
CN111917738A (zh) * | 2020-07-14 | 2020-11-10 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 可支持网络高层协议的处理方法及系统 |
CN112367262A (zh) * | 2020-08-20 | 2021-02-12 | 国家计算机网络与信息安全管理中心 | 一种五元组规则的匹配方法及装置 |
CN112559283A (zh) * | 2020-12-08 | 2021-03-26 | 中国联合网络通信集团有限公司 | 信令记录处理方法、装置及设备 |
CN112968841A (zh) * | 2021-03-04 | 2021-06-15 | 杭州迪普信息技术有限公司 | 报文汇聚分流方法、装置和电子设备 |
CN113204570A (zh) * | 2021-04-14 | 2021-08-03 | 福建星瑞格软件有限公司 | 一种基于数据特征的数据库协议识别方法及装置 |
CN113923270A (zh) * | 2021-08-30 | 2022-01-11 | 北京百卓网络技术有限公司 | 一种报文的处理方法、装置、设备及可读存储介质 |
CN113923270B (zh) * | 2021-08-30 | 2024-05-17 | 北京百卓网络技术有限公司 | 一种报文的处理方法、装置、设备及可读存储介质 |
CN113852635A (zh) * | 2021-09-26 | 2021-12-28 | 招商银行股份有限公司 | 任务处理方法、装置、终端设备及存储介质 |
CN113852635B (zh) * | 2021-09-26 | 2024-05-28 | 招商银行股份有限公司 | 任务处理方法、装置、终端设备及存储介质 |
CN114244618A (zh) * | 2021-12-22 | 2022-03-25 | 北京天融信网络安全技术有限公司 | 一种异常访问检测方法、装置、电子设备及存储介质 |
CN114244618B (zh) * | 2021-12-22 | 2023-11-10 | 北京天融信网络安全技术有限公司 | 一种异常访问检测方法、装置、电子设备及存储介质 |
CN114615231A (zh) * | 2022-03-04 | 2022-06-10 | 北京理工大学 | 一种基于名字提取的网络包处置方法及系统 |
CN114598530A (zh) * | 2022-03-09 | 2022-06-07 | 上海中广核工程科技有限公司 | 工控防火墙白名单规则匹配方法、装置及相关设备 |
CN114884882A (zh) * | 2022-06-16 | 2022-08-09 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
CN114884882B (zh) * | 2022-06-16 | 2023-11-21 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
CN115883681A (zh) * | 2023-02-08 | 2023-03-31 | 天翼云科技有限公司 | 报文解析方法、装置、电子设备及存储介质 |
CN115883681B (zh) * | 2023-02-08 | 2023-06-23 | 天翼云科技有限公司 | 报文解析方法、装置、电子设备及存储介质 |
CN117278660A (zh) * | 2023-11-21 | 2023-12-22 | 华信咨询设计研究院有限公司 | 一种基于dpdk技术的流量过滤的协议解析方法 |
CN117278660B (zh) * | 2023-11-21 | 2024-03-29 | 华信咨询设计研究院有限公司 | 一种基于dpdk技术的流量过滤的协议解析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109672669B (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109672669A (zh) | 流量报文的过滤方法及装置 | |
US10616001B2 (en) | Flexible processor of a port extender device | |
WO2021227322A1 (zh) | 一种SDN环境DDoS攻击检测防御方法 | |
USRE49172E1 (en) | System and method for adapting a packet processing pipeline | |
CN109921996B (zh) | 一种高性能的OpenFlow虚拟流表查找方法 | |
CN104348716B (zh) | 一种报文处理方法及设备 | |
US7600094B1 (en) | Linked list traversal with reduced memory accesses | |
Taylor | Survey and taxonomy of packet classification techniques | |
US7852850B2 (en) | Double-hash lookup mechanism for searching addresses in a network device | |
US8488466B2 (en) | Systems, methods, and apparatus for detecting a pattern within a data packet and detecting data packets related to a data packet including a detected pattern | |
JP4410467B2 (ja) | キャッシュ入力の選択方法および装置 | |
US7684400B2 (en) | Logarithmic time range-based multifield-correlation packet classification | |
US7289498B2 (en) | Classifying and distributing traffic at a network node | |
US7054315B2 (en) | Efficiency masked matching | |
CN1881950B (zh) | 使用频谱分析的分组分类加速 | |
US20170250953A1 (en) | Hybrid hardware-software distributed threat analysis | |
CN103248573A (zh) | 面向OpenFlow的集中管理交换机及其数据处理方法 | |
CN110035074A (zh) | 一种acl匹配udf报文的芯片实现方法及装置 | |
CN100571218C (zh) | 一种实现流转换的方法和设备 | |
US20090019220A1 (en) | Method of Filtering High Data Rate Traffic | |
WO1999013620A2 (en) | A lookup device and a method for classification and forwarding of packets in packet-switched networks | |
CN111200542A (zh) | 一种基于确定性替换策略的网络流量管理方法及系统 | |
US9219659B1 (en) | Policy control list keys for network devices | |
CN109905482A (zh) | 命名数据网络中基于视频直播系统的缓存方法 | |
CN108377211A (zh) | 基于报文内容感知的动态规则链式递归触发方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |