CN104753931B - 一种基于正则表达式的深度报文检测方法 - Google Patents

Abstract

本发明公开了一种基于正则表达式的深度报文检测方法，通过硬件实现高速网络的正则表达式匹配，提高了对报文检测的速度和灵活性，适用于10G以上高速网络的报文检测；包括:协议检测模块、流表项维护模块、格式封装模块、数据发送模块、正则表达式匹配模块、数据接收模块、格式解封装模块、流量整形模块、接口配置模块、结果输出模块、外部存储器模块。本发明提出了在FPGA实现正则表达式匹配的方法，基于可编程门阵列（Field Programmable Gate Array，FPGA）的正则表达式匹配即能够满足高速流量的要求又能够不断的跟新，而且实现的代价也相对较小，采用FPGA实现正则表达式匹配引擎设计，以并行流水线方式检测入侵数据，提高了数据的检测效率，实现了系统的检测性能的整体提升。

Description

一种基于正则表达式的深度报文检测方法

技术领域

本发明属于网络安全技术领域，具体涉及一种基于正则表达式的深度报文检测方法。

背景技术

随着互联网的发展，网络对人们的生活影响越来越大尤其是近年来随着新应用和新业务的不断涌现，互联网得到了更广泛的发展，成了人们工作、学习和娱乐的一部分，生活网络化成了最为显著的时代特征。

然而，网络就像一把双刃剑，在便利人们生活的同时，也带来了许多的问题，网络安全问题是其中形势比较严峻的一个。网络病毒、恶意代码、垃圾邮件等不良信息恣意传播，进而扰乱了网络的秩序，影响了网民的生活，甚至威胁到了国家的安全，网络安全问题日益突出。

面对以上问题，首先需要应用的就是深度报文检测技术，通过检测发现网络中的恶意数据，采用阻断，报警等方式杜绝安全隐患。另外，利用深度报文检测区分出网络承载的业务类型，通过流量控制和资源优化等方法提供精细化的服务，即提高了网络的利用率又能满足用户的体验。因此，深度报文检测技术在网络的发展中具有举足轻重的作用。

现阶段正则表达式匹配实现方式基本都是基于软件的方式，而通用处理器的发展远远不能跟上网络数据流量的增长速度，即使采用先进的多核处理器来进行正则表达式匹配，也很难达到千兆或千兆以上的处理流量。正则表达式匹配引擎的匹配吞吐率成为其应用的一个瓶颈。并且相当一部分正则表达式库相当复杂，而且其中的规则会不断的更新或者升级。每一个版本的正则表达式库都需要大量的人力去开发，而每次更新后都需要再进行开发，因此正则表达式的实现非常复杂。这些问题都制约着深度报文检测技术的发展。

发明内容

本发明针对现有技术存在网络安全问题以及现阶段正则表达式匹配实现方式基本都是基于软件的方式，而通用处理器的发展远远不能跟上网络数据流量的增长速度，即使采用先进的多核处理器来进行正则表达式匹配，也很难达到千兆或千兆以上的处理流量等问题，提出一种基于正则表达式的深度报文检测方法。

本发明的技术方案是：一种基于正则表达式的深度报文检测方法，构建一个硬件环境，该硬件环境包括：协议检测模块（101）、流表项维护模块（102）、格式封装模块（103）、数据发送模块（104）、配置接口模块（110）、正则表达式模块（105）、数据接收模块（106）、格式解封装模块（107）、流量整形模块（108）、结果输出模块（109）、外部储存器模块（111）；

基于环境的正则表达式的深度报文检测匹配查找方法步骤如下：

步骤201：协议检测模块（101）对进入系统报文进行协议检测，如果有错误则丢弃，如果没有错误，则提取协议信息并且将数据传送到流表项维护模块（102）执行步骤二；

步骤202：流表项维护模块（102）根据到达报文的五元组信息，对整个表项空间进行管理和维护，进而获得到达报文的流信息，并将流信息和报文送达格式封装模块（103）；

步骤203：格式封装模块（103）对报文进行格式头转换并按照正则表达式模块的处理格式要求，对报文进行数据格式封装，之后将封装好的数据传送到数据发送模块（104）；

步骤204：数据发送模块（104）将数据封装成MAC帧，再通过10G高速接口将MAC帧传送给正则表达式模块（105）；

步骤205：正则表达式模块（105）根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块（106）；

步骤206：数据接收模块（106）通过10G高速接口接收由正则表达式模块105返回的数据；

步骤207：格式解封装模块（107）从接收到的数据中解析出原始二层帧和匹配结果；

步骤208：流量整形模块（108）根据用户配置的阀值对数据流进行整形使数据流尽可能趋于平稳；

步骤209：结果输出模块（109）将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作。

所述的系基于正则表达式的深度报文检测方法，所述规则表项维护的流程步骤如下：

步骤301：由用户自定义匹配规则表项；

步骤302：送入配置接口模块（110）；

步骤303：根据用户自定义的匹配规则表项对配置接口模块（110）中的规则表项进行生成、更新或删除操作；

步骤304：将维护之后的匹配规则表项送至正则表达式匹配模块（105）；

所述的基于正则表达式的深度报文检测方法，所述协议检测模块（101）实现协议检测方法包括以下步骤：

步骤401：将发送报文存入协议检测预处理缓存；

步骤402：将报文从预处理缓存中读出，检测报文是否正确，如果正确则执行步骤403，如果错误则将报文直接丢弃；

步骤403：对正确报文的协议进行分析，记录包长，将对小于64字节的报文进行填充；

步骤404：提取报文五元组信息；

步骤405：将报文存入协议检测结果缓存。

所述的基于正则表达式的深度报文检测方法，所述流表项维护模块（102）实现流表项维护方法包括以下步骤：

步骤501：对报文的五元组信息流进行分析查找；

步骤502：检测是否有相应的流表项，如果有执行步骤504，如果无则执行步骤503；

步骤503：根据五元组信息生成新的流表项，然后执行步骤六；

步骤504：根据时间戳判决步骤502的流表项送是否超时，如果是，执行步骤505，否则执行步骤506；

步骤505：将超时的流表项进行删除操作，将该流表项送至格式封装模块103；

步骤506：更新流表项统计的包长，包个数及时间戳；

步骤507：输出24字节的流状态索引。

所述的基于正则表达式的深度报文检测方法，所述格式封装模块（103）实现格式封装步骤如下：

步骤601：将报文存入格式封装预处理缓存；

步骤602：将原始报文从格式封装预处理缓存中读出，并对报文格式头进行分析；

步骤603：根据流信息和正则表达式模块对格式头的要求构造格式头；

步骤604：根据构造的格式头对原始报文进行格式头转换和封装；

步骤605：将格式封装之后的报文存入格式封装结果缓存。

所述的基于正则表达式的深度报文检测方法，所述格式解封装模块（107）实现格式解封装的步骤如下：

步骤701：将返回数据存入格式解封装预处理缓存；

步骤702：将数据从预处理缓存中读出，从数据中剥离出匹配结果头，还原出原始二层帧；

步骤703：将匹配结果存入匹配结果缓存，将原始二层帧存入帧缓存。

所述的基于正则表达式的深度报文检测方法，所述协议检测模块（101），用于检测报文的有效性，并提取分析报文的五元组协议信息，并将五元组信息及数据流传递给流表项维护模块；

所述流表项维护模块（102），用于维护外部存储模块中流表项的生成、删除、更新和维护控制；

所述格式封装模块（103），对报文进行格式头转换和封装，使报文符合正则表达式模块匹配格式的要求，并把封装后的报文送入数据发送模块；

所述数据发送模块（104），通过10G高速接口将数据传给正则表达式模块；

所述正则表达式匹配模块（105），根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块；

所述数据接收模块（106），通过10G高速接口接收由正则表达式模块返回的数据；

所述格式解封装模块（107），从接收到的数据中解析出原始二层帧和匹配结果；

所述流控整形模块（108），根据用户配置的阀值对数据流进行整形，使不平稳的数据流趋于平稳；

所述结果输出模块（109），将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作；

所述接口配置模块（110），实现对正则表达式匹配模块内用户自定义的规则表项的维护；

所述外部存储器模块（111），能够采用多种现有存储器DDRII SDRAM、DDRIIISDRAM、SRAM。

本发明的有益效果是：本发明提供了一种可以适应当前10G高速网络的基于正则表达式的深度报文检测系统，本发明提出了在 FPGA 实现正则表达式匹配的方法，基于可编程门阵列（Field Programmable Gate Array，FPGA）的正则表达式匹配即能够满足高速流量的要求又能够不断的更新，而且实现的代价也相对较小。本发明采用FPGA实现正则表达式匹配引擎设计，以并行流水线方式检测入侵数据，提高了数据的检测效率，实现了系统的检测性能的整体提升。另外，本发明不仅支持包级浮动关键词检测的基本要求，而且也支持流级的浮动关检测检测，对某个流的包可以跨包完成浮动关键词匹配。

附图说明

图1为本发明实施例提供的系统的示意图；

图2是本发明实施例提供的系统处理流程图；

图3是本发明实施例提供的配置表项维护流程图；

图4是本发明实施例提供的协议检测流程图；

图5是本发明实施例提供的流表项维护流程图；

图6是本发明实施例提供的格式封装流程图；

图7是本发明实施例提供的格式解封装流程图；

图8是本发明实施例提供的格式封装产生格式头示意图；

图9是本发明实施例提供的正则表达式模块输出结果头示意图；

图1中，101为协议检测模块，102为流表项维护模块，103为格式封装模块，104为数据发送模块，105为正则表达式模块，106为数据接收模块，107为格式解封装模块，108为流量整形模块，109为结果输出模块，110为配置接口模块，111为外部储存器模块。

具体实施方式

实施例1：结合图1-图9，一种基于正则表达式的深度报文检测方法，构建一个硬件环境，该硬件环境包括：协议检测模块（101）、流表项维护模块（102）、格式封装模块（103）、数据发送模块（104）、配置接口模块（110）、正则表达式模块（105）、数据接收模块（106）、格式解封装模块（107）、流量整形模块（108）、结果输出模块（109）、外部储存器模块（111）；协议检测模块101，用于检测报文的有效性，并提取分析报文的五元组协议信息，并将五元组信息及数据流传递给流表项维护模块；

流表项维护模块102，用于维护外部存储模块中流表项的生成、删除、更新和维护控制；

格式封装模块103，对报文进行格式头转换和封装，使报文符合正则表达式模块匹配格式的要求，并把封装后的报文送入数据发送模块；

数据发送模块104，通过10G高速接口将数据传给正则表达式模块；

正则表达式匹配模块105，根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块；

数据接收模块106，通过10G高速接口接收由正则表达式模块返回的数据。

格式解封装模块107，从接收到的数据中解析出原始二层帧和匹配结果；

流控整形模块108，根据用户配置的阀值对数据流进行整形，使不平稳的数据流趋于平稳；

结果输出模块109，将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作；

接口配置模块110，实现对正则表达式匹配模块内用户自定义的规则表项的维护；

外部存储器模块111，实现较简单，可以采用多种现有存储器来实现，如DDRIISDRAM、DDRIII SDRAM、SRAM等。

其中，如图2所示，基于正则表达式的深度报文检测方法实现深度报文检测方法包括以下步骤：

步骤201：协议检测模块101，对发送报文进行协议检测，如果有错误则丢弃，如果没有错误，则提取协议信息并且将数据传送到流表项维护模块102执行步骤202；

步骤202：流表项维护模块102扫描整个表项空间，判定超时老化的流，对整个表项空间的管理和维护；

步骤203：格式封装模块103，对报文进行格式头转换并按照正则表达式格式要求对数据进行格式封装，之后将封装好的数据传送到数据发送模块104；

步骤204：数据发送模块104，将数据封装成MAC帧，再通过10G高速接口将MAC帧传送给正则表达式模块104；

步骤205：正则表达式模块105，根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块106；

步骤206：数据接收模块106，通过10G高速接口接收由正则表达式模块105返回的数据；

步骤207：格式解封装模块107，从接收到的数据中解析出原始二层帧和匹配结果。

步骤208：流量整形模块108，根据用户配置的阀值对数据流进行整形使数据流尽可能趋于平稳；

步骤209：结果输出模块109，将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作。

其中，如图3所示，基于正则表达式的深度报文检测方法配置接口模块实现匹配表项生成其步骤如下：

步骤301：由用户自定义匹配规则表项；

步骤302：送入配置接口模块110；

步骤303：根据用户自定义的匹配规则表项对配置接口模块110中的规则表项进行生成、更新或删除操作；

步骤304：将维护之后的匹配规则表项送至正则表达式匹配模块105。

其中，如图4所示，基于正则表达式的深度报文检测方法协议检测模块处理流程其步骤如下：

步骤401：将发送报文存入协议检测预处理缓存；

步骤402：将报文从预处理缓存中读出，检测报文是否正确，如果正确则执行步骤403，如果错误则将报文直接丢弃；

步骤403：对正确报文的协议进行分析，记录包长，将对小于64字节的报文进行填充；

步骤404：提取报文五元组信息；

步骤405：将报文存入协议检测结果缓存。

其中，如图5所示，基于正则表达式的深度报文检测方法，流表项维护模块处理流程其步骤如下：

步骤501：对报文的五元组信息流进行分析查找；

步骤502：检测是否有相应的流表项，如果有执行步骤504，如果无则执行步骤503；

步骤503：根据五元组信息生成新的流表项，然后执行步骤506；

步骤504：根据时间戳判决步骤502的流表项送是否超时，如果是，执行步骤505，否则执行步骤506；

步骤505：将超时的流表项进行删除操作，将该流表项送至格式封装模块103；

步骤506：更新流表项统计的包长，包个数及时间戳；

步骤507：输出24字节的流状态索引。

其中，如图6所示，基于正则表达式的深度报文检测方法，格式封装流程其步骤如下：

步骤601：将报文存入格式封装预处理缓存；

步骤602：将原始报文从格式封装预处理缓存中读出，记录包长，并对报文格式头进行分析；

步骤603：根据流信息和正则表达式模块对格式头的要求构造格式头如图8；

步骤604：根据构造的格式头对原始报文进行格式头转换和封装；

步骤605：将格式封装之后的报文存入格式封装结果缓存。

其中，如图7所示，基于正则表达式的深度报文检测方法，格式解封装模块处理流程其步骤如下：

步骤701：将返回数据如图9存入格式解封装预处理缓存；

步骤702：将数据从预处理缓存中读出，从数据中剥离出匹配结果头，还原出原始二层帧；

步骤703：将匹配结果存入匹配结果缓存，将原始二层帧存入二层帧帧缓存。

其中，如图8所示，基于正则表达式的深度报文检测方法，格式封装模块封装的格式其内容如下：用户自定义源MAC，用户自定义目的MAC，以太网类型，CMD，开始，结束，载荷偏移量，填充长度，用户自定义区域，流状态索引，组元地址，保留字段，二层帧。

其中，如图9所示，基于正则表达式的深度报文检测方法，正则表达式模块输出数据结果其内容如下：用户自定义源MAC，用户自定义目的MAC，以太网类型，结果，错误指示，结果统计，用户自定义区域，保留字段，结果钳位，基本偏移量，保留字段，偏移分量，规则地址，优先级，完成，结束，对应组号，二层帧。

Claims (6)

1.一种基于正则表达式的深度报文检测方法，其特征在于：构建一个硬件环境，该硬件环境包括：协议检测模块（101）、流表项维护模块（102）、格式封装模块（103）、数据发送模块（104）、配置接口模块（110）、正则表达式模块（105）、数据接收模块（106）、格式解封装模块（107）、流量整形模块（108）、结果输出模块（109）、外部储存器模块（111）；

基于环境的正则表达式的深度报文检测匹配查找方法步骤如下：

步骤201：协议检测模块（101）对进入系统报文进行协议检测，如果有错误则丢弃，如果没有错误，则提取协议信息并且将数据传送到流表项维护模块（102）执行步骤二；

步骤202：流表项维护模块（102）根据到达报文的五元组信息，对整个表项空间进行管理和维护，进而获得到达报文的流信息，并将流信息和报文送达格式封装模块（103）；

步骤203：格式封装模块（103）对报文进行格式头转换并按照正则表达式模块的处理格式要求，对报文进行数据格式封装，之后将封装好的数据传送到数据发送模块（104）；

步骤204：数据发送模块（104）将数据封装成MAC帧，再通过10G高速接口将MAC帧传送给正则表达式模块（105）；

步骤205：正则表达式模块（105）根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块（106）；

步骤206：数据接收模块（106）通过10G高速接口接收由正则表达式模块105返回的数据；

步骤207：格式解封装模块（107）从接收到的数据中解析出原始二层帧和匹配结果；

步骤208：流量整形模块（108）根据用户配置的阀值对数据流进行整形使数据流尽可能趋于平稳；

步骤209：结果输出模块（109）将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作；

所述规则表项维护的流程步骤如下：

步骤301：由用户自定义匹配规则表项；

步骤302：送入配置接口模块（110）；

步骤303：根据用户自定义的匹配规则表项对配置接口模块（110）中的规则表项进行生成、更新或删除操作；

步骤304：将维护之后的匹配规则表项送至正则表达式匹配模块（105）。

2.根据权利要求1所述的基于正则表达式的深度报文检测方法，其特征在于：所述协议检测模块（101）实现协议检测方法包括以下步骤：

步骤401：将发送报文存入协议检测预处理缓存；

步骤402：将报文从预处理缓存中读出，检测报文是否正确，如果正确则执行步骤403，如果错误则将报文直接丢弃；

步骤403：对正确报文的协议进行分析，记录包长，将对小于64字节的报文进行填充；

步骤404：提取报文五元组信息；

步骤405：将报文存入协议检测结果缓存。

3.根据权利要求1所述的基于正则表达式的深度报文检测方法，其特征在于：所述流表项维护模块（102）实现流表项维护方法包括以下步骤：

步骤501：对报文的五元组信息流进行分析查找；

步骤502：检测是否有相应的流表项，如果有执行步骤504，如果无则执行步骤503；

步骤503：根据五元组信息生成新的流表项，然后执行步骤六；

步骤504：根据时间戳判决步骤502的流表项送是否超时，如果是，执行步骤505，否则执行步骤506；

步骤505：将超时的流表项进行删除操作，将该流表项送至格式封装模块103；

步骤506：更新流表项统计的包长，包个数及时间戳；

步骤507：输出24字节的流状态索引。

4.根据权利要求1所述的基于正则表达式的深度报文检测方法，其特征在于：所述格式封装模块（103）实现格式封装步骤如下：

步骤601：将报文存入格式封装预处理缓存；

步骤602：将原始报文从格式封装预处理缓存中读出，并对报文格式头进行分析；

步骤603：根据流信息和正则表达式模块对格式头的要求构造格式头；

步骤604：根据构造的格式头对原始报文进行格式头转换和封装；

步骤605：将格式封装之后的报文存入格式封装结果缓存。

5.根据权利要求1所述的基于正则表达式的深度报文检测方法，其特征在于：所述格式解封装模块（107）实现格式解封装的步骤如下：

步骤701：将返回数据存入格式解封装预处理缓存；

步骤702：将数据从预处理缓存中读出，从数据中剥离出匹配结果头，还原出原始二层帧；

步骤703：将匹配结果存入匹配结果缓存，将原始二层帧存入帧缓存。

6.根据权利要求1所述的基于正则表达式的深度报文检测方法，其特征在于：所述协议检测模块（101），用于检测报文的有效性，并提取分析报文的五元组协议信息，并将五元组信息及数据流传递给流表项维护模块；

所述流表项维护模块（102），用于维护外部存储模块中流表项的生成、删除、更新和维护控制；

所述格式封装模块（103），对报文进行格式头转换和封装，使报文符合正则表达式模块匹配格式的要求，并把封装后的报文送入数据发送模块；

所述数据发送模块（104），通过10G高速接口将数据传给正则表达式模块；

所述正则表达式匹配模块（105），根据预先定义的规则集对数据包的内容进行检测和匹配，并将报文和匹配结果返回至数据接收模块；

所述数据接收模块（106），通过10G高速接口接收由正则表达式模块返回的数据；

所述格式解封装模块（107），从接收到的数据中解析出原始二层帧和匹配结果；

所述流量 整形模块（108），根据用户配置的阀值对数据流进行整形，使不平稳的数据流趋于平稳；

所述结果输出模块（109），将原始查表报文和匹配结果交付给用户，由用户根据匹配查找结果，对报文进行自定义操作；

所述接口配置模块（110），实现对正则表达式匹配模块内用户自定义的规则表项的维护；

所述外部存储器模块（111），采用的存储器为DDRII SDRAM、DDRIII SDRAM、SRAM。