CN103595729A - 一种协议解析方法及装置 - Google Patents

Abstract

本发明公开了一种协议解析方法及装置。所述方法包括：接收数据包；对接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包；通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。本发明提高了字符串匹配效率及数据处理能力。

Description

一种协议解析方法及装置

技术领域

本发明涉及网络安全技术，尤其涉及一种协议解析方法及装置。

背景技术

随着互联网的日渐庞大，互联网的流量增长迅猛，深度包检测(DeepPacket Inspection，DPI)、入侵检测系统(Intrusion Detection System，IDS)等网络安全管理技术快速发展，出现了协议解析技术。

协议解析是对网络数据包的内容进行详细分析的过程。协议解析从网络通信协议特有的规则性出发，对数据包的数据、结构进行解码分析，获得深层次的数据，识别数据包的功能，为分析数据包提供精确、详细的信息。

现有技术中，协议解析技术首先对字符流中的字符串进行匹配，然后对匹配成功的字符串进行解析操作。而随着网络流量的迅猛增长，现有技术面临着数据处理能力不足的问题。

发明内容

有鉴于此，本发明实施例提供一种协议解析方法及装置，以解决现有的协议解析技术数据处理能力不足的问题。

一方面，本发明实施例提供了一种协议解析方法，所述方法包括：

接收数据包；

对接收到的数据包进行协议解析，识别所述数据包的协议类型，并根据所述数据包的协议类型分派所述数据包；

通过使用匹配引擎对分派的所述数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。

进一步地，所述匹配引擎包括：特征结构和引擎结构；

所述特征结构包括：特征、上下文指针、模式串跳转表指针、回调函数和失配偏移，其中，所述特征是指一个或者多个模式串的集合。

进一步地，所述动态多模式匹配算法用于动态修改跳转表、模式串及文本串。

进一步地，通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，还包括：

根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

另一方面，本发明实施例还提供了一种协议解析装置，所述装置包括：

接收模块，用于接收数据包；

分派模块，用于对所述接收模块接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包；

第一识别模块，用于通过使用匹配引擎对所述分派模块分派的数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。

进一步地，所述第一识别模块使用的匹配引擎包括：特征结构和引擎结构；

所述特征结构包括：特征、上下文指针、模式串跳转表指针、回调函数和失配偏移，其中，所述特征是指一个或者多个模式串的集合。

进一步地，所述第一识别模块使用的匹配引擎基于的所述动态多模式匹配算法，用于动态修改跳转表、模式串及文本串。

进一步地，还包括：

第二识别模块，用于在所述第一识别模块通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

本发明实施例提出的协议解析方法及装置，通过接收数据包，对接收到的数据包进行协议解析，以识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包，使用匹配引擎对所述数据包进行特征匹配，以识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法；通过匹配引擎对多个模式串进行匹配，识别数据包的功能，提高了字符串匹配的效率及数据处理能力。

附图说明

图1是本发明第一实施例提供的协议解析方法的流程图；

图2是本发明第二实施例提供的协议解析方法的流程图；

图3是本发明第三实施例提供的协议解析装置的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在图1中示出了本发明的第一实施例。

图1是本发明第一实施例提供的协议解析方法的实现流程图，该方法详述如下：

步骤101，接收数据包。

执行数据处理方法的设备接收需要处理的数据包。

步骤102，对接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包。

执行数据处理方法的设备对接收到的数据包进行初步的协议解析，根据数据包的包头识别所述数据包的协议类型，本领域技术人员可以理解，也可以通过其他方法识别数据包的协议类型。然后根据所述数据包的协议类型对所述数据包进行分派，分派给相应的处理模块进行后续的处理。

步骤103，通过使用匹配引擎对分派的数据包进行特征匹配，识别所述数据包的功能。

在一个网络数据包到达后，可能需要对其进行识别再进一步分派，这就需要在一次的文本串扫描中识别出多种模式串，这里使用匹配引擎对分派的网络数据包进行特征匹配，识别数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。示例性的，所述匹配引擎包括：特征结构和引擎结构；所述特征结构包括：特征、上下文指针、模式串跳转表指针、回调函数和失配偏移，其中，所述特征是指一个或者多个模式串的集合。所述上下文指针用于处理专有逻辑，模式串跳转表指针用于指示模式串跳转表的起始位置，回调函数用于被引擎呼叫以及终止匹配引擎，失配偏移用于记录模式串失效的距离。字符串匹配算法根据模式串注册模式串的跳转表，在字符串匹配时利用该跳转表执行匹配算法，不再需要构造跳转表。跳转表被定义为一个数组，每一个索引代表模式串集合中的一个字符。

匹配引擎使用位运算实现模式串进入或退出匹配时对跳转表的操作，例如：当有新的模式串进入匹配时，将新的模式串的跳转表追加到原跳转表的尾部，同时调整识别位；当模式串退出匹配时，将该模式串在跳转表中的位置标记为失效，当有新的模式串进入导致位数不够时，将跳转表中标记为失效的模式串整体去除。

匹配引擎中，所述动态多模式匹配算法用于动态修改跳转表、模式串及文本串。动态多模式匹配算法可以基于MultiShiftAnd算法，在匹配引擎能容纳所有的模式串的情况下使用，如果模式串的总长度超出了所述匹配引擎所能容纳的范围，则超出范围的模式串，使用Wu-Manber算法。匹配引擎维护每个特征的引用，在匹配过程中不断的判断失配值，失配值以最小堆的形式存在，当失配值到达时，给该失配特征做标记，由于跳转表对MultiShiftAnd算法的影响非常小，进行一次失效的正确匹配的成本不高，所以可以在匹配命中时在失效特征中排除。

MultiShiftAnd算法和Wu-Manber算法均为多字符串匹配算法。MultiShiftAnd算法是一种位并行算法，适用于模式串字符集的总长度不超过机器字长的情况下。在初始化时对每个模式串扫描构造跳转表，跳转表进行或操作，匹配进行中每次对读入的字符进行一位和与操作，结果中如果第一个字符为1则表示一次成功的匹配，否则将结果保存下来用于下次匹配。在多字符串匹配算法中，基于后缀的匹配算法由于模式串的增多，会导致跳转距离的低下，Wu-Manber算法解决了这一问题，Wu-Manber算法一次读入一个字符块，以降低字符块在模式串中的出现率。

匹配引擎运行中，会有以下几种情况及相应的处理方式：没有有效特征时，结束；长度超过了失效堆的堆顶值时，使这个堆顶指向的特征失效，同时调整失效最小堆进行了一次成功匹配时，判断该特征的失效标记，如果判断为失效，则继续下个匹配；进行了一次成功匹配时，该特征有效，使这个特征失效，调用回调函数并传入当前环境，而在特征的回调函数中处理上下文信息，可以继续添加下一个特征，或者添加几个特征，或者终止其他匹配而独占这个数据流，或者终止此次匹配；在注册新的模式串时有可能引起跳转表溢出，这是因为前面某个注销的模式串还存在于跳转表中，这时进行一次清理，“抠掉”所有无效的跳转表，并使新的跳转表紧邻，流出空间给后面的匹配。

例如：以MultiShiftAnd算法为例，在文本串“annually_announce”中搜索模式串集合{announce，annual，annually}，跳转表为：

a	0001000101000100000001
		c	0000000000000001000000
e	0000000000000010000000
		l	0110000010000000000000
n	0000011000011000100110
		o	0000000000000000001000
u	0000100000100000010000
		y	1000000000000000000000
*	0000000000000000000000

识别位DI=0000000100000100000001，掩码DF=1000000010000010000000，初始化D=0000000000000000000000。匹配过程为：

1.读入a

2.读入n

3.读入n

4.读入u

5.读入a

6.读入l

在每进行一个字符的匹配时验证匹配的结果，经过匹配D=0010000010000000000000，D&DF!=0,此时出现一次成功匹配，后续匹配过程相似，这里不再赘述。

在动态MultiShiftAnd算法中，在文本串“annually_announce”中搜索模式串集合{announce，annual}，在搜索过程中去掉“annual”，加入“annually”。跳转表为：

a	0000000001000100000001
		c	0000000000000001000000
e	0000000000000010000000
		l	0000000010000000000000
n	0000000000011000100110
		o	0000000000000000001000
u	0000000000100000010000
		y	0000000000000000000000
*	0000000000000000000000

识别位DI=0000000000000100000001，掩码DF=0000000010000010000000，初始化D=0000000000000000000000。匹配过程为：

1.读入a

2.读入n

3.读入n

4.读入u

如果此时在运行过程中需要调整跳转表，去掉“annual”，加入“annually”，通过位运算，重新生成的跳转表如下：

a	0001000101000100000001
		c	0000000000000001000000
e	0000000000000010000000
		l	0110000010000000000000
n	0000011000011000100110
		o	0000000000000000001000

u	0000100000100000010000
		y	1000000000000000000000
*	0000000000000000000000

识别位DI=0000000100000100000001，掩码DF=1000000010000010000000，初始化D=0000000000000000000000。继续匹配：

5.读入a

6.读入l

经过匹配，D=0010000010000000000000，D&DF!=0,会匹配到annual，这时经过判断新的模式串的长度及匹配字符的次数可以得知这是一次错误的匹配报告，后续继续进行匹配，这里不再赘述。

在上述的跳转表变动中，如果长度不足，需要进行调整，加入“annually”后删除“annual”，跳转表如下：

a	0000000001000100000001
		c	0000000000000001000000
e	0000000000000010000000

l	0000000110000000000000
		n	0000000000011000100110
o	0000000000000000001000
		u	0000000000100000010000
y	0000001000000000000000
		*	0000000000000000000000

识别位DI=0000000100000100000001，掩码DF=0000100000000010000000，初始化D=0000000000000000000000。这样在跳转表中去除了“annual”，不会再出现错误匹配“annual”的情况。进行中的中间结果串也需要清除“annual”掩码，同时加入“annually”掩码，匹配会在“annually”加入前复制了以前“annual”的中间匹配结果导致新串“annually”还没完全走完一趟就可能被匹配，所以需要判断字符串的长度以判断是否匹配成功。

示例性的，通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，还包括：

根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

单模式字符串匹配算法包括ShiftAnd算法、Horspool算法、BNDM（Backward Nondeterministic Dawg Matching）算法和微指令匹配算法等等。ShiftAnd算法用于模式串短且重复率高的情况，其思想是维护一个集合，这个集合充分利用了计算机CPU的特性，在表示上以位的方式存在，在x86-64系统中，可以表示最多64位长度的模式串，ShiftAnd算法把跳转表保留到一个机器数组中，数组长度是模式串中字符集个数，每当读入一个字符通过掩码判断匹配，利用CPU位操作指令，大部分数据都能保存在寄存器中，因此该算法非常高效，尤其表现在模式串重复度高的情况下；Horspool算法用于长字符集的匹配中，是在BM（Boyer-Moore）算法基础上发展起来的后缀匹配算法，其思想是对BM算法的简化，在跳转表的构造上省去了一个复杂环节，但在失配时并不能跳转到最远距离，这种算法在长模式串、重复度不高的情况下表现优异；BNDM算法用于不超过一个机器字的自然语言匹配算法，在实现上使用了位并行技术，跳转表构造在机器字中，使用CPU位操作指令提供效率；微指令匹配算法效率高但对模式串有要求，适用于特殊情况。

多模式字符串匹配算法包括MultiShiftAnd算法和Wu-Manbei算法等等。

本实施例通过识别数据包的协议类型并根据所述数据包的协议类型分派所述数据包，使用匹配引擎对所述数据包进行特征匹配，以识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法，提高了字符串匹配效率，同时提高了数据处理能力。

在图2中示出了本发明的第二实施例。

图2是本发明第二实施例提供的协议解析方法的实现流程图，该方法详述如下：

步骤201，接收数据包。

本实施例中步骤201同第一实施例中步骤101，这里不再赘述。

步骤202，分派线程对接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包，如果所述数据包的协议类型为HTTP协议，则将所述数据包分派给HTTP协议处理线程。

分派线程对接收到的数据包进行协议解析，识别所述数据包的协议类型，根据数据包的协议类型可以将所述数据包分派给相应的协议处理线程进行后续的处理，如果所述数据包的协议类型为超文本传输HTTP协议，则分派线程将所述数据包分派给HTTP协议处理线程；如果所述数据包的协议类型为非HTTP协议，可以将所述数据包分派给非HTTP协议处理线程。

线程的数量可以根据需要及处理器进行动态配置。例如：主要处理HTTP协议时，在8核的处理器上可以启用6个处理线程，其中，1个分派线程、4个HTTP协议处理线程和一个其他协议处理线程，之所以这样配置,是基于负载均衡技术,让所有的CPU平摊处理任务,这几个线程之间使用“忙等”的调度方式，直接占据整个CPU，这些线程循环中，只在每次循环最后暂时使程序停止运行（使用usleep(1)），给CPU调度机会，使CPU高效服务，减少线程切换开销。

步骤203，HTTP协议处理线程通过使用匹配引擎对分派的数据包进行特征匹配，识别所述数据包的功能。

HTTP协议处理线程通过使用匹配引擎对分派的数据包进行特征匹配，识别所述数据包的功能。具体识别方法同第一实施例中的步骤103，这里不再赘述。

步骤204，HTTP协议处理线程根据数据包的功能，利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

HTTP协议处理线程已利用匹配引擎识别出了数据包的功能，则根据所述数据包的功能，利用单模式匹配算法或者多模式匹配算法进一步进行关键字匹配，以识别所述数据包的具体功能。

本实施例通过分派线程识别数据包的协议类型并根据所述数据包的协议类型分派所述数据包进行分派，如果所述数据包的协议类型为HTTP协议，则将所述数据包分派给HTTP协议处理线程，所述HTTP协议处理线程使用匹配引擎对分派的所述数据包进行特征匹配，以识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法，HTTP协议处理线程根据数据包的功能，利用单模式字符串匹配算法或者多模式字符串匹配算法进行关键字匹配，以识别所述数据包的具体功能，使用多线程同时进行处理进一步提高了字符串匹配效率，同时提高了数据处理能力。

图3示出了本发明的第三实施例。

图3是本发明第三实施例中的一种协议解析装置的示意图。本实施例所述的协议解析装置用于实现第一实施例所述的协议解析方法。如图3所示，本实施例所述的协议解析装置包括：接收模块301、分派模块302和第一识别模块303。

其中，接收模块301用于接收数据包。所述接收模块301用于实现第一实施例中步骤101所述的功能，这里不再赘述。

分派模块302用于对所述接收模块301接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包。所述分派模块302用于实现第一实施例中步骤102所述的功能，这里不再赘述。所述分派模块可以通过分派线程实现。

第一识别模块303用于通过使用匹配引擎对所述分派模块302分派的数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。所述第一识别模块303用于实现第一实施例中步骤103所述的功能，这里不再赘述。所述第一识别模块可以通过协议处理线程实现。

示例性的，所述数据处理装置还包括：第二识别模块，用于在所述第一识别模块通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

本实施例通过接收模块接收数据包，分派模块识别数据包的协议类型，并根据数据包的协议类型分派数据包，第一识别模块使用匹配引擎对所述数据包进行特征匹配，以识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法，提高了字符串匹配效率，同时提高了数据处理能力。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种协议解析方法，其特征在于，所述方法包括：

接收数据包；

对接收到的数据包进行协议解析，识别所述数据包的协议类型，并根据所述数据包的协议类型分派所述数据包；

通过使用匹配引擎对分派的所述数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。

2.根据权利要求1所述的方法，其特征在于，所述匹配引擎包括：特征结构和引擎结构；

所述特征结构包括：特征、上下文指针、模式串跳转表指针、回调函数和失配偏移，其中，所述特征是指一个或者多个模式串的集合。

3.根据权利要求1或2所述的方法，其特征在于，所述动态多模式匹配算法用于动态修改跳转表、模式串及文本串。

4.根据权利要求1或2所述的方法，其特征在于，通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，还包括：

根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

5.一种协议解析装置，其特征在于，所述装置包括：

接收模块，用于接收数据包；

分派模块，用于对所述接收模块接收到的数据包进行协议解析，识别所述数据包的协议类型，根据所述数据包的协议类型分派所述数据包；

第一识别模块，用于通过使用匹配引擎对所述分派模块分派的数据包进行特征匹配，识别所述数据包的功能，其中，所述匹配引擎基于动态多模式匹配算法。

6.根据权利要求5所述的装置，其特征在于，所述第一识别模块使用的匹配引擎包括：特征结构和引擎结构；

所述特征结构包括：特征、上下文指针、模式串跳转表指针、回调函数和失配偏移，其中，所述特征是指一个或者多个模式串的集合。

7.根据权利要求5或6所述的装置，其特征在于，所述第一识别模块使用的匹配引擎基于的所述动态多模式匹配算法，用于动态修改跳转表、模式串及文本串。

8.根据权利要求5或6所述的装置，其特征在于，还包括：

第二识别模块，用于在所述第一识别模块通过使用匹配引擎对所述数据包进行特征匹配，识别所述数据包的功能之后，根据所述数据包的功能，通过利用单模式字符串匹配算法或者多模式字符串匹配算法进行匹配，识别所述数据包的具体功能。

Images