CN101399710B - 一种协议格式异常检测方法及系统 - Google Patents

Abstract

本发明涉及一种协议格式异常检测方法及系统。本发明包括检测关键字段库、实际检测规则库、语法分析器、协议解析器、协议格式异常检测器，运行包括以下步骤：检测关键字段库的建立步骤；实际检测规则库的建立步骤；数据提取的步骤；深入检测的步骤。本发明解决了现有技术中仅仅依赖误用检测对于所有数据包的载荷部分进行模式匹配的性能问题。本发明采用了功能强大的语法分析器使得本系统扩展非常方便，可自动生成实际检测规则及相应的处理函数关联，并具有协议格式异常检测速度快和准确率高等优点，应用前景广阔。

Description

一种协议格式异常检测方法及系统

技术领域

本发明涉及一种协议格式异常检测方法及系统，是一种应用于网络系统中电数字数据处理检测方法，是一种可用于入侵检测防御(IDS/IPS)及审计产品中的协议格式异常检测方法及系统。

背景技术

入侵检测/防御系统(Intrusion Detection/Protection System，IDS/IPS)作为网络安全防护的重要手段，通常部署在关键网络内部/网络边界入口处，实时捕获网络内或进出网络的报文数据流并进行智能综合分析，发现可能的入侵行为并进行实时阻断。目前的入侵检测方法主要分为误用检测技术和异常检测技术。异常检测可以检测出已知的和未知的攻击方法和技术，问题是正常行为标准只能采用人工智能、机器学习算法等来生成，并且需要大量的数据和时间，不适和入侵检测系统的实时性要求。而目前入侵检测系统使用的误用检测机制无法有效的检测和防御未知攻击，因此综合需求和效率的考虑需要增加协议格式异常检测的处理机制。该异常检测主要考虑多种报头值的结构信息，报头值的结构比较简单，而且可以很清楚地识别出异常报头信息。对于明显违背RFC793中规定的标准，例如数据包中不同的协议可能都包含的length字段，若数据包的报头的实际长度与之不符，则产生报警。这个原因主要是由于大多数操作系统和应用软件都是在假定RFC被严格遵守的情况下编写的，没有添加针对异常数据的错误处理程序，所以许多包含报头值的漏洞利用都会故意违反RFC的标准定义以实现某种方式的攻击。

目前的入侵检测产品及技术主要应用了误用检测技术进行实现，因为异常检测技术正常模型建立困难，检测效率比较低。在误用检测的过程中主要是通过特征匹配的方式进行实现的。工作方式是针对已知的攻击提取特征，在网络抓包的过程中进行攻击特征的匹配以判断是否存在攻击。但是传统的检测技术主要针对的是数据包的载荷部分进行的，而某些攻击是针对数据包使用的协议格式进行的(如Ping of Death，Teardrop Attack等等)。随着网络应用的不断丰富和高速网络技术的不断发展，对于每一个数据包都进行载荷部分的模式匹配检测显然会严重影响自身的入侵检测效率。同时考虑到误用检测技术在检测未知攻击方面的缺陷，异常检测技术的研究与实施已经成为国内外的重点课题。目前发现的大多数协议异常攻击主要针对的是协议的格式方面，而目前具有完善灵活的协议格式异常检测功能的产品是非常缺乏的。因此，有必要发展独立灵活易于扩展的协议格式异常检测技术，既可以弥补误用检测技术的不足，又可以在进行数据载荷部分的误用检测之前过滤掉违反协议格式的数据包从而提升整个入侵检测系统的性能。

发明内容

本发明提出一种协议格式异常检测方法及系统，所述的协议格式异常检测技术可以满足：尽可能多的准确识别通信过程中违反协议规范的数据包并实施相应的过滤以提高入侵检测系统的性能；具有很好的可扩展性，对于某些攻击的变形或新的攻击可以灵活的添加规则扩大检测的范围；具有非常高的格式异常检测效率，算法实现尽可能简单；方法通用性强，并要求格式异常检测准确率高。

本发明的目的是这样实现的：一种协议格式异常检测方法，包括检测关键字段库、实际检测规则库、语法分析器、协议解析器、协议格式异常检测器，其关键在于所述的步骤：

检测关键字段库的建立步骤；

实际检测规则库的建立步骤；

数据提取的步骤；

深入检测的步骤。

一种协议格式异常检测系统，包括：对添加的语法进行解释并验证是否符合语法规则的语法分析器、存储通过语法检测阶段的合法语法进一步生成的实际检测规则库及相应关键字段的检测关键字段库、实现检测规则与处理函数的关联并对所有获得的数据进行相关的异常检测并返回结果的协议格式异常检测器、与检测关键字段库之间的关键字段注册及通过交互获得与关键字段相关的检测数据的协议解析器。

本发明产生的有益效果是：解决了传统IDS/IPS产品中仅仅依赖误用检测对于所有数据包的载荷部分进行模式匹配的性能问题，对于某些违法协议规范格式的数据包可以直接进行高效的检测并过滤，而无需再对数据载荷部分进行细致的匹配检测，同时在规则的制订时主要参考的是RFC当中对协议的规范设定的正常格式模型，因此可以检测出很多攻击的变种或新的攻击，可以有效的弥补误用检测技术在这方面的缺陷。本发明采用了功能强大的语法解析器使得本系统的扩展变得非常方便，可自动生成实际检测规则库及相应的处理函数关联，因此在进行检测规则添加及扩展的时候无需对系统进行大的改动。并且具有协议格式异常检测速度快和准确率高等优点，可广泛应用于IDS/IPS、审计等网络安全产品中。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是协议格式异常检测系统示意图；

图2是协议格式异常检测系统的运行流程示意图；

图3是检测关键字段库建立示意图；

图4是实际检测规则库建立示意图；

图5是数据提取步骤示意图；

图6是深入检测步骤示意图。

具体实施方式

实施例一：

本实施例为协议格式异常检测方法的基本模式，所使用的系统如图1所示。包括检测关键字段库、实际检测规则库、语法分析器、协议解析器、协议格式异常检测器，运行流程如图2所示：

①检测关键字段库的建立步骤。检测关键字段库的建立包括初始规则语法的制订、语法解释验证以及关键字段的提取入库。对于某些攻击针对的协议字段，寻找攻击的统一模式，将该受攻击协议字段和攻击模式联合作为初始规则输入。以此作为初始设定的检测规则即初始规则。随后调用词法分析器对于初始规则进行语法分析，对初始规则输入语句进行词法分割。以词法分析的结果作为语法分析的输入，以此判断该输入规则是否符合初始语法规则。如果通过了初始语法检测说明该初始规则符合预先设定的语法规则，则以此规则作为下一步生成实际检测规则的依据。同时进行该规则对应检测的关键字进行提取以及入库。

②实际检测规则库的建立步骤。实际检测规则库的建立包括输入规则到具体检测规则的映射以及实际检测规则入库。将输入的规则语句作为提取依据，结合具体使用的实际协议解析工具进行规则的具体化实施，包括将其中的具体协议变量名的赋值，也就是将实际检测当中使用的协议变量赋给输入的统一规则生成实际检测相关的若干条规则。将生成的实际检测规则入实际检测规则库，并将实际检测规则与其使用的相关处理函数做关联。

③数据提取的步骤。数据提取包括关键字段注册以及数据返回。数据提取步骤主要是检测关键字段库与协议解析器之间的数据交互过程。首先检测关键字段库需要向协议解析器进行关键字注册，这部分将实际检测规则库建立步骤中提取的关键字注册给协议解析器，声明目前可以检测的协议格式字段。随后在实际通信过程当中协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给协议格式异常检测器。

④深入检测的步骤。深入检测阶段使用得到的数据进行相关规则处理函数的调用，检测收到的数据并返回异常检测的结果。在收到相关数据之后，协议格式异常检测器查询实际检测规则库找到关键词对应的相关规则，并以规则库建立阶段建立的关联将相关规则对应到适当的处理函数当中对收到的数据进行相关检测并返回检测结果。

实施例二：

本实施例为实施例一中的检测关键字段库的建立步骤当中初始输入规则语法制定的优选方案。运行流程如图3所示。

①对于某些攻击针对的协议字段，寻找攻击的统一模式，将该受攻击协议字段和攻击模式联合作为规则的输入，以此作为初始规则的子步骤。

②调用语法分析器对初始检测规则进行语法分析，对规则输入语句进行语法分割子步骤。

③以语法分析的结果作为语法分析的输入，以此判断该输入规则是否符合预先设定的语法规则子步骤。

④如果通过了语法检测说明该规则符合预先设定的语法规则，则以此规则作为下一步生成实际检测规则的依据子步骤。

本实施例的基本思路是：首先制订规则的输入格式及语法应满足的条件，并且可以利用语法分析器自动验证输入之语法是否符合预定语法格式并使用自动规则映射方式将通过语法检测的输入规则映射成为具体的实际检测规则。  依据预先设定的语法输入规则库进行检测规则的添加。例如按照如下方式进行规则的输入：“关键字段”+{该关键字段对应的检测规则}。并将输入的规则作为词法分析的输入，本实施例使用了lex词法分析器进行输入语句的词法分割。随后将分割后的结果作为语法检测的输入，本实施例采用了yacc语法分析器作为工具进行相应的语法分析，将符合语法输入规则库的语法作为本步骤的输出结果，供接下来的实际检测规则库建立使用。

实施例三：

本实施例是实施例一的实际检测规则库的建立步骤的优选方案。运行流程如图4所示

①以经过语法检测的输入规则语句作为提取依据，结合具体使用的实际协议解析工具生成实际检测规则的子步骤。

②进行关键字的提取以实现下一步的数据交互的子步骤。

③将生成的实际检测规则入实际检测规则库，并将实际检测规则与其使用的相关处理函数做关联的子步骤。

关键字提取方法依赖于初始规则输入语法的制订，可以在检测规则当中自动匹配关键字段位置，准确提取相应需要进行格式异常检测的关键字段。

在获得yacc语法检测输出的结果之后，此时需要结合具体的协议解析器进行实际检测规则的生成。因为目前各种协议分析工具种类繁多，因此在制订具体检测规则的时候需要考虑实际使用的协议分析工具采用的各种协议变量的命名。这是为了接下来的数据获取方便，可以在协议解析的过程中获得检测需要的数据，而避免由于命名不一致带来的麻烦。本实施例采用的是ethereal进行解析的分析工作，因此在检测规则库建立步骤中，需要按照ethereal进行协议分析的时候使用的实际变量名进行规则的提取。例如，本实施例可以在规则输入阶段设定规则为：″length″+{<，length<reallength}。这条规则表明实际检测的数据包当中长度标识字段的值与实际载荷大小不符。在具体协议分析过程当中对于各种不同协议当中对于长度的命名可能并不是唯一的，按照实际的命名规则，上述的输入规则可以映射为如下的规则集：

″TCP_length″+{<，TCP_length<TCP_reallength}

″IP_size″+{<，IP_size<IP_realsize}

实际上通过变量命名转换之后产生的是实际检测时使用的检测规则。在命名结束之后，本步骤还要进行规则的入库。此时做的工作是将具体规则当中使用的关键字段单独提取出来做为注册使用(如上述实例当中的TCP_length，IP_size等)，而将关键字段对应的实际检测规则存储到规则库当中(如上述实例当中的TCP_length<TCP_reallength，IP_size<IP_realsize)。在存储规则的过程当中需要为规则编号，这是用来在获取数据之后直接可以知道获得的数据应该使用哪些对应规则进行检测。同时每条入库的规则需要确定相对应的处理函数，也就是实际数据获得之后如何进行该规则的检测。在与相关处理函数进行关联的时候本实施例使用的是规则当中的标识字段(如上述实例当中的<)来表明当获得了该条规则需要使用的所用关键字段数据之后调用哪些处理函数进行异常检测。

检测规则入库方法是将通过输入语法检测的规则映射后的实际检测规则进行规则部分提取，并对提取的规则进行编号后存储到检测规则库当中。同时按照规则当中的处理标识将此规则与相关处理函数进行关联。

本实施例中采用的算法

实际检测规则自动生成算法：在规则的输入过程中是按照统一指定的yacc语法规则集进行规则输入的，而在实际检测过程中用到的具体规则需要对输入规则进行统一协议变量命名。因为在不同的系统当中采用的协议解析工具可能是多种多样的，不同的协议解析工具使用的协议变量名很可能是千差万别的。因此需要使用自动的规则生成算法将统一的输入规则映射到具体的检测规则。本系统采用了配置文件的方式实现具体规则的自动映射，因此在采用不同的协议解析模块的时候只需要提供相应的配置文件表明具体的协议变量命名方式即可完成对于具体检测规则的自动生成。

实施例四：

本实施例为实施例一中的数据提取的步骤的优选方案。运行流程如图5所示

①检测关键字库向协议解析器进行关键字注册的子步骤。检测关键字库需要向协议解析器注册上一个步骤当中提取的相应关键字段来表明目前检测关键字库可以检测的协议相关字段。同时在注册过程中需要标识该注册关键字相对应的检测规则编号，以便将来在具体协议分析过程当中将相应数据返回时可以指定相对应的检测规则而无需在实际检测规则库中进行查找。协议解析器收到注册信息之后将相应关键字及所带规则编号进行整合。因为一个关键字可能对应的规则可能不止一条，同时一条规则使用的关键字也可能是多个，因此整合的目的在于明确在解析过程当中实际获得的数据可以提供哪些规则的检测。至此关键字段注册子步骤完成，也标志着检测关键字库的预处理阶段完成。在本子步骤中以共享内存方式将已有规则涉及的关键字段向协议解析器进行注册，其目的在于告知协议解析器目前可以对哪些协议关键字段进行格式异常检测。

②协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给协议格式异常检测器的子步骤。在实际网络通信当中截获数据包之后，首先协议解析器进行相应的协议解析，一旦发现包含已注册的关键字段，则根据整合过后的规则编号确定此时哪些规则已经可以进行检测了，并将实际解析数据返回给协议格式异常检测器进行深入的检测。例如上述实例当中当解析出TCP_length和TCP_reallength的实际值之后将返回这两个值并通知协议格式异常检测器，此时该规则可以进行检测。在此子步骤中本实施例采用的数据交互方式为共享内存，由协议解析器和协议格式异常检测器共同开辟一段共享内存。由协议格式异常检测器负责发送控制命令来指挥数据的写入和读出。

本实施例所使用的算法：

检测关键字与具体的实际检测规则及处理函数关联算法：在关键字注册过程当中使用模式匹配算法进行关键字的自动提取(如实施例三中自动匹配“”在双引号之间的部分TCP_length为关键字)。之后对于关键字对应的相关规则进行编号以方便在实际数据返回过程中对于规则的定位。在实际数据返回时按照返回的规则编号匹配检测规则库当中的编号列表定位具体规则。并且在规则定位之后按照规则当中的处理标识(如<)匹配实际的处理函数。这样可以保证在实际数据解析之后返回给格式异常检测器可以自动的定位需要检测的规则以及检测所使用的处理函数进行相关检测。

数据交互算法：本系统当中涉及的数据交互部分主要是协议解析器与协议格式异常检测器直接的信息交互。首先在预处理阶段协议格式异常检测器向协议解析器注册相应的关键字段值，同时双方协商开辟一段共享内存空间。当实际通信过程中，协议解析器解析数据包发现已注册的关键字段信息时，将相应数据写入共享内存并发送信号通知协议格式异常检测器可以开始读取数据。此时协议格式异常检测器按照约定顺序读取共享内存中的数据并且在每读完一部分空间信息之后发送信号给协议解析器该部分信息已经获得，协议解析器则可以循环的向共享内存中写入信息直至全部数据交互完成。

实施例五：

本实施例为实施例一中的深入检测的优选方案。运行流程如图6所示

①收到相关数据之后，协议格式异常检测器查询实际检测规则库，找到关键字对应的相关规则的子步骤；

②以实际检测规则库建立步骤中建立的关联将相关规则对应到适当的处理函数当中，对收到的数据进行相关检测并返回检测结果的子步骤。

本实施例使用带编号的实际检测规则当中的处理标识相对应的处理函数对返回的数据进行相关格式异常检测并返回结果。

本实施例所使用的算法

处理函数检测相关算法：这部分主要是在处理函数对具体数据包进行检测过程当中使用的一些算法。如需要检测DOS攻击的时候需要保存一段时间内的数据包的源IP和目的IP的信息，这里采用了hash算法对收到的源IP和目的IP建立hash表，当收到新的数据包时，如果其中的源IP和目的IP已经包含在hash表中则将相应的计数器+1，否则在hash表中建立新的条目。当一定时间内hash表中某个条目的计数器累计超过阈值，则判定DOS攻击的发生。

实施例六：

本实施例是实现实施例一、二、三、四、五所述的方法的虚拟装置或者说系统，系统如图1所示，本实施例包括：对添加的语法进行解释并验证是否符合语法规则的语法分析器、存储通过语法检测阶段的合法语法进一步生成的实际检测规则库及相应关键字段的检测关键字段库、实现检测规则与处理函数的关联并对所有获得的数据进行相关的异常检测并返回结果的协议格式异常检测器、与检测关键字段库之间的关键字段注册及通过交互获得与关键字段相关的检测数据的协议解析器。

初始输入规则语法库存储了规则设定及系统进行扩展添加新的检测规则时需要遵守的语法规则，语法分析器实现了实施例二中所述的语法解释及验证功能。实际检测规则库存储通过语法检测阶段的合法语法进一步生成的实际检测规则。关键字段库存储了通过语法检测阶段的实际检测规则当中对应的关键字段。关键字段库和协议格式异常检测器实现了实施例三中所述的关键字注册及数据返回算法。协议格式异常检测器实现了实施例五中所述的格式异常检测处理算法并返回结果。

本协议格式异常检测系统，包括语法分析器、检测关键字段库、协议格式异常检测器及协议解析器；所述的语法分析器接收用户输入的初始输入规则，并进行语法分析确定输入规则是否符合语法设定，对于符合语法设定的数据传输给检测关键字段库和实际检测规则库。检测关键字段库负责提取相关检测规则当中的关键字段并将此数据传输给协议解析器完成关键字段注册。同时实际检测规则库将接收到的检测规则入库、完成关键字段与检测规则的关联并将此关联信息传输给协议格式异常检测器。协议解析器负责接收实际网络报文并根据已注册的关键字段对协议进行解析并将解析数据传输给协议格式异常检测器。协议格式异常检测器接收由协议解析器传输的解析数据及实际检测规则库传输的关联信息进行实际的协议格式异常检测。

Claims (5)

1.一种协议格式异常检测方法，其特征在于包含以下步骤：

检测关键字段库的建立步骤；

实际检测规则库的建立步骤；

数据提取的步骤；

深入检测的步骤，

其中，所述的检测关键字段库的建立步骤包括以下的子步骤：

对于某些攻击针对的协议字段，寻找攻击的统一模式，将受攻击的协议字段和攻击模式联合作为规则的输入，以此作为初始检测规则的子步骤；

调用词法分析器对初始检测规则进行语法分析，对规则输入语句进行词法分割子步骤；

以词法分析的结果作为语法分析的输入，以此判断该输入的初始规则是否符合预先设定的语法规则子步骤；

如果通过了语法检测说明该规则符合预先设定的语法规则，则以此规则作为下一步生成实际检测规则的依据子步骤；

进行关键字的提取以实现下一步的数据交互的子步骤。

2.根据权利要求1所述的一种协议格式异常检测方法，其特征在于所述的实际检测规则库的建立步骤中的子步骤：

以经过语法分析器检测的初始规则语句作为提取依据，结合具体使用的实际协议解析工具生成实际检测规则的子步骤；

将生成的实际检测规则入实际检测规则库，并将实际检测规则与其使用的相关处理函数做关联的子步骤。

3.根据权利要求1所述的一种协议格式异常检测方法，其特征在于所述的数据提取的步骤中的子步骤：

检测关键字段库向协议解析器进行关键字注册的子步骤；

协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给协议格式异常检测器的子步骤。

4.根据权利要求1所述的一种协议格式异常检测方法，其特征在于所述的深入检测的步骤中的子步骤：

收到相关数据之后，协议格式异常检测器查询实际检测规则库，找到关键字对应的相关规则的子步骤；

以实际检测规则库建立阶段建立的关联将相关规则对应到适当的处理函数当中，对收到的数据进行相关检测并返回检测结果的子步骤。

5.一种协议格式异常检测系统，其特征在于包括：对添加的语法进行解释并验证是否符合语法规则的语法分析器、存储通过语法检测阶段的合法语法进一步生成的实际检测规则库及相应关键字段的检测关键字段库、实现检测规则与处理函数的关联并对所有获得的数据进行相关的异常检测并返回结果的协议格式异常检测器、与检测关键字段库之间的关键字段注册及通过交互获得与关键字段相关的检测数据的协议解析器；

所述的语法分析器接收用户输入的初始输入规则，并进行语法分析确定输入规则是否符合语法设定，对于符合语法设定的数据传输给检测关键字段库和实际检测规则库；检测关键字段库负责提取相关检测规则当中的关键字段并将此数据传输给协议解析器完成关键字段注册；同时实际检测规则库将接收到的检测规则入库、完成关键字段与检测规则的关联并将此关联信息传输给协议格式异常检测器；协议解析器负责接收实际网络报文并根据已注册的关键字段对协议进行解析并将解析数据传输给协议格式异常检测器；协议格式异常检测器接收由协议解析器传输的解析数据及实际检测规则库传输的关联信息进行实际的协议格式异常检测。

Images