CN103324886B - 一种网络攻击检测中指纹库的提取方法和系统 - Google Patents

Abstract

本发明公开了一种网络攻击检测中指纹库的提取方法和系统。包括：训练步骤和提取步骤。训练步骤，获取训练数据，计算规则库的候选指纹全集中每一候选指纹在训练数据中的出现次数；提取步骤，计算每一候选指纹的相关规则条目数RSC和权重，根据出现次数、RSC和权重选取候选指纹全集中的指纹生成指纹库。本发明可以达到：选取的指纹库的规模小使得预过滤阶段的查找效率高、在规则验证阶段需要验证的次数少可以降低规则验证阶段的开销的目的。

Description

一种网络攻击检测中指纹库的提取方法和系统

技术领域

本发明涉及网络攻击检测技术，尤其涉及一种网络攻击检测中指纹库的提取方法和系统。

背景技术

随着网络技术的发展，网络安全问题日益严重，使得网络攻击检测系统（IntrusionDetectionSystems，IDS）在计算机网络中越来越重要。

图1为现有的网络攻击检测系统IDS，由五个数据包处理模块组成，分别是捕获模块、解码模块、预处理模块、检测引擎（包检测模块）和输出模块。其中，作为核心部分的检测引擎通过对网络流量进行扫描，检查流量中是否包含攻击数据包。攻击数据包的规则库保存了已知网络攻击的规则，规则内容包括数据包包头中的协议信息和净荷中会包含的字符串信息。检测的过程就是把流量和这些规则内容进行比对，由于目前的IDS需要处理的流量越来越大，攻击对应的规则库也越来越膨胀，为了提高IDS的效率，在检测引擎中采用预过滤和规则验证两个数据包处理阶段。预过滤阶段是一个多模式字符串匹配的过程：首先从规则库里的每一项规则内容中提取出来一条字符串作为规则的指纹，加入指纹库；利用指纹库生成多模式匹配引擎，使用这个多模式匹配引擎对数据包进行匹配，将匹配命中的嫌疑数据包和命中的指纹标号一起送入规则验证阶段，将安全数据包直接放行。规则验证阶段就是把从预过滤阶段获得的数据包和命中的指纹标号对应的规则内容的所有信息进行逐条比对，在比对过程中，确认为攻击数据包则会被记录下来，而确认为安全数据包则会被放行。

由于指纹只包含了规则内容的一条字符串信息，所以利用指纹库进行的预过滤阶段存在假阳性，即安全数据包在预过滤阶段被当作嫌疑数据包交给规则验证阶段进行验证的情况，例如：当安全数据包仅仅与规则的指纹匹配、而不与规则内容的所有信息都匹配时，会出现“预过滤中存在假阳性”的情况。同时，每一条规则在指纹库中都有对应的指纹，所以预过滤阶段不存在假阴性的数据包。假阴性就是，攻击数据包被当作安全数据包的情况。如果数据包为攻击数据包，那么数据包中一定会与指纹库中的至少一个指纹匹配，因此在预过滤阶段数据包一定会作为嫌疑数据包被处理，而不是作为安全数据包被放行的，即“预过滤阶段不存在假阴性”。

从规则库中提取指纹库的过程称为“指纹提取”。图2为IDS的规则库的实施例，IDS规则库由三条规则组成。每条规则都由“协议信息”、“content”字段或者“RegEx”字段组成。“协议信息”包括：alerttcpanyany->anyany、alerttcpanyany->any$HTTP_PORTS，“content”字段包括：User-Agent|3A|、ac1db1tch3z/black，“RegEx”字段包括：/^User-Agent\x3A[^\r\n]*A-311\s+Server/smi、/^User-Agent\x3A[^\n\r]+Google[^\n\r]+Desktop/smi。“content”字段后面是字符串，表示其所属规则描述的攻击数据包中存在这条字符串。RegEx是正则表达式，表示其所属规则描述的攻击数据包要符合这个正则表达式。以图2显示的规则库为例介绍指纹提取的过程，这个过程包括两个步骤：

（1）提取候选指纹全集

将规则库中的所有规则包含的所有字符串提取出来，去掉重复的字符串之后的集合为候选指纹全集。从图2的三条规则提取出的候选指纹全集是：{User-Agent|3A|、ac1db1tch3z/black、Google、Desktop、A-311、Server}；

（2）从候选指纹全集中选取指纹形成指纹库

最终的指纹库需要满足的条件：规则库中的每一条规则，在指纹库中必须能找到一条自身包含的字符串。上述条件的作用是保证预过滤不会出现假阴性。

上述的两个步骤中，步骤（1）的过程非常简单，而步骤（2）从候选指纹全集中选取指纹库的过程决定了指纹库的优劣。高效的指纹库应该可以在提高预过滤性能的同时，减少规则验证的验证次数，并最终提高IDS的性能。目前，从候选指纹全集中选取指纹形成指纹库的方法有两种：最大指纹库方法和最小指纹库方法。

这两种方法中，都是以候选指纹的相关规则条目数（RelativeSignatureCount,RSC）作为度量进行选取的。如果规则库中的某条规则包含候选指纹全集中的某一个候选指纹，则这条规则叫做这个候选指纹的相关规则（RelativeSignature）。一个候选指纹的RSC即是这条指纹的相关规则条目数，也就是这个指纹同时表征的规则条目数。如果在包检测中，这条指纹在某一个数据包中被发现，该数据包为嫌疑数据包，嫌疑数据包将被送入规则验证，需要验证的规则条目就是这个指纹对应的所有RS，即需要根据RSC条规则对嫌疑数据包进行验证。

最小指纹库方法的选取过程中，选取RSC数目较大的指纹优先加入指纹库。这种方法被广泛应用在Snort等知名的IDS产品中利用这种方法，见“N.Weng,L.Vespa,andB.Soewito,DeepPacketPre-flteringandFiniteStateEncodingforAdaptiveIntrusionDetectionSystem,ComputerNetworks,doi:10.1016/j.comnet.2010.12.007,2011”和“Theopensourcenetworkintrusiondetectionsystem.http://www.snort.org”。采用这种方法，图2中获得的指纹库是{User-Agent|3A|}，即一条字符串就可以同时表征图2中的三条规则。采用这种方法，可以用数目最小的指纹来表征所有的规则条目，得到的指纹库的规模小，相应地，生成的多模式匹配引擎占用内存小，预过滤阶段性能高。但是，最小指纹库方法有两个缺点：（1）指纹库中可能会存在大量协议字段，图2的指纹库中就存在协议字段“User-Agent”，“User-Agent”是浏览器通过http访问网页的协议字段，这种协议字段在数据包中出现概率大，会造成大量假阳性的数据包通过预过滤阶段，而进入规则验证阶段；（2）进入规则验证阶段以后，由于指纹的RSC大，每一个指纹同时表征多条规则，对每一个数据包，都需要逐条验证这些规则，验证开销大。这两个缺点使得采用最小指纹库方法的包检测引擎，虽然在预过滤阶段性能较好，但是在规则验证阶段的开销太大。

相反地，最大指纹库方法在选取过程中选取RSC数目较小的指纹优先加入指纹库，见“XiaofeiWang,JunchenJiang,XiaojunWang,BinLiu,ExtractionofFingerprintfromRegularExpressionforEfficientPrefilteringPublishedInConf.onCommunicationTechnologyandApplication(ICCTA)2009”。这样做的好处是在最终的指纹库中，每一个规则都有自己独有的指纹，也就避免了最小指纹库方法的两个缺点。但是，相应地，最大指纹库方法生成的指纹库大，编译而成的预过滤引擎内存占用也大，导致预过滤阶段的性能差。

发明内容

针对现有的指纹提取方法的缺点，本发明将一部分网络流量（网络数据包）作为训练集，对训练集中的训练数据的特性进行分析，通过分析结果来提取指纹。

本发明提供了一种网络攻击检测中指纹库的提取方法，包括：

训练步骤，获取训练数据，计算规则库的候选指纹全集中每一候选指纹在训练数据中的出现次数；

提取步骤，计算每一候选指纹的相关规则条目数RSC和权重，根据出现次数、RSC和权重选取候选指纹全集中的指纹生成指纹库。

训练步骤中，获取一部分网络数据包作为训练数据。

提取步骤进一步包括：

计算每一候选指纹的相关规则条目数RSC，根据出现次数和RSC计算每一候选指纹的权重，将权重最小的候选指纹放入指纹库中；将权重最小的候选指纹从候选指纹全集中删除，形成临时候选指纹全集；将权重最小的候选指纹的相关规则从规则库中删除，形成临时规则库；更新候选指纹全集为临时候选指纹全集，更新规则库为临时规则库，对规则库重复提取步骤，直到规则库为空结束。

提取步骤中，权重=出现次数*RSC。

将权重最小的候选指纹放入指纹库中，进一步包括：

如果权重最小的候选指纹不止一个，那么从中选取RSC最大的候选指纹放入指纹库。

本发明提供了一种网络攻击检测中指纹库的提取系统，包括：

训练模块，用于获取训练数据，计算规则库的候选指纹全集中每一候选指纹在训练数据中的出现次数；

提取模块，用于计算每一候选指纹的相关规则条目数RSC和权重，根据出现次数、RSC和权重选取候选指纹全集中的指纹生成指纹库。

训练模块中，获取一部分网络数据包作为训练数据。

提取模块进一步用于：

计算每一候选指纹的相关规则条目数RSC，根据出现次数和RSC计算每一候选指纹的权重，将权重最小的候选指纹放入指纹库中；将权重最小的候选指纹从候选指纹全集中删除，形成临时候选指纹全集；将权重最小的候选指纹的相关规则从规则库中删除，形成临时规则库；更新候选指纹全集为临时候选指纹全集，更新规则库为临时规则库，对规则库重复提取步骤，直到规则库为空结束。

提取模块中，权重=出现次数*RSC。

将权重最小的候选指纹放入指纹库中，进一步包括：

如果权重最小的候选指纹不止一个，那么从中选取RSC最大的候选指纹放入指纹库。

本发明的有益效果在于：

1．选取的指纹库的规模小，使得预过滤阶段的查找效率高；

2．在规则验证阶段需要验证的次数少，可以降低规则验证阶段的开销。

附图说明

图1为现有的IDS的结构图；

图2为现有的规则库的实施例；

图3为本发明的一种网络攻击检测中指纹库的提取方法的示意图；

图4为本发明的一种网络攻击检测中指纹库的提取方法的提取步骤的伪代码的实施例；

图5为本发明的一种网络攻击检测中指纹库的提取系统的示意图；

图6为本发明的一种网络攻击检测中指纹库的提取系统的实施例。

具体实施方式

下面结合实施例和附图对本发明的技术方案进行详细地介绍。

图3为本发明的一种网络攻击检测中指纹库的提取方法的示意图，包括训练步骤（S31）和提取步骤（S32）。

训练步骤（S31），获取训练数据，计算规则库R的候选指纹全集P中每一候选指纹P_i在训练数据中的出现次数Ti。

本发明中，以一部分网络数据包作为训练数据，但不以此为限，也可以是历史的训练数据。其中，需要处理的规则库为R：{R₁、R₂、R₃、……、R_m}，R的候选指纹全集为P：{P₁、P₂、P₃、……、P_n}，m、n、i、T_i为大于等于0的整数。

具体而言，在训练阶段，把一部分网络流量作为训练数据进行分析。分析的过程是一个多模式匹配的过程，即在训练数据里面查找并记录P中所有候选指纹P_i的出现次数T_i。

提取步骤（S32），计算每一候选指纹P_i的相关规则条目数RSC_i和权重W_i，根据出现次数T_i、RSC_i和权重W_i选取候选指纹全集P中的指纹Ф生成指纹库F。

具体而言，计算每一候选指纹P_i的相关规则条目数RSC_i，根据出现次数T_i和RSC_i计算每一候选指纹的权重W_i，将权重最小的候选指纹P_min放入指纹库F中；将权重最小的候选指纹P_min从候选指纹全集P中删除，形成临时候选指纹全集P’；将权重最小的候选指纹P_min的相关规则从规则库R中删除，形成临时规则库R’；更新候选指纹全集P为临时候选指纹全集P’（P=P’），更新规则库R为临时规则库R’（R=R’），对规则库R重复提取步骤（S32），直到规则库R为空结束。其中，权重=相关规则条目数*出现次数，即W_i=RSC_i*T_i，权重表示如果把这条候选指纹P_i加入指纹库F，在处理训练数据中，由这条指纹P_i带来的验证开销。在上述的“将权重最小的候选指纹P_min放入指纹库F”的过程中，如果权重最小的候选指纹不止一个，那么从中选取RSC最大的候选指纹放入指纹库F。在提取步骤（S32）中以权重作为选取指纹的度量。图4为本发明的一种网络攻击检测中指纹库的提取方法的提取步骤的伪代码的实施例。

图4中，T[]为存放在训练数据中查找到的P中每一个候选指纹P_i的出现次数的数组，RSC[]为存放P中每一个候选指纹P_i的RSC数目的数组，W[]为存放P中每一个候选指纹P_i的权重的数组，P_min为当次指纹提取时权重最小的候选指纹，W[min]为当次指纹提取时最小权重，p_temp为存储P_min的变量。

图4的伪代码的执行过程如下：

步骤1：将p_temp置为0；

步骤2：计算候选指纹全集P的每一候选指纹P_i的相关规则条目数RSC_i，根据出现次数T_i和RSC_i计算每一候选指纹的权重W_i，

步骤3：选取候选指纹全集P中权重最小W[min]的候选指纹为P_min，其中，如果最小权重对应多个候选指纹，那么从中选取RSC最大的候选指纹为P_min；用P_min对p_temp进行赋值，并将P_min放入指纹库F中。

步骤4：从候选指纹全集P中把p_temp中的候选指纹删除，形成临时候选指纹全集P’；

步骤5：从规则库R中将p_temp的候选指纹的相关规则删除，形成临时规则库R’；

步骤6：更新候选指纹全集P为临时候选指纹全集P’（P=P’），更新规则库R为临时规则库R’（R=R’）；

步骤7：判断规则库R是否为空，如果为空结束；否则，返回步骤2。

图4仅为提取步骤（S32）的一较佳实施例，不以此为限。上述的步骤2也可以在步骤6后执行，但需要在步骤1前，计算候选指纹全集R的每一候选指纹P_i的相关规则条目数RSC_i，根据出现次数T_i和RSC_i计算每一候选指纹的权重W_i

图5为本发明的一种网络攻击检测中指纹库的提取系统的示意图，包括训练模块（S51）和提取模块（S52）。

训练模块（S51），用于获取训练数据，计算规则库的候选指纹全集中每一候选指纹在训练数据中的出现次数；

提取模块（S52），用于计算每一候选指纹的相关规则条目数RSC和权重，根据出现次数、RSC和权重选取候选指纹全集中的指纹生成指纹库。

训练模块中，获取一部分网络数据包作为训练数据。

提取模块进一步用于：

计算每一候选指纹的相关规则条目数RSC，根据出现次数和RSC计算每一候选指纹的权重，将权重最小的候选指纹放入指纹库中；将权重最小的候选指纹从候选指纹全集中删除，形成临时候选指纹全集；将权重最小的候选指纹的相关规则从规则库中删除，形成临时规则库；则更新候选指纹全集为临时候选指纹全集，更新规则库为临时规则库，对规则库重复提取步骤，直到规则库为空结束。

提取模块中，权重=出现次数*RSC。

将权重最小的候选指纹放入指纹库中，进一步包括：

如果权重最小的候选指纹不止一个，那么从中选取RSC最大的候选指纹放入指纹库。

因为本发明的网络攻击检测中指纹库的提取系统是与本发明的网络攻击检测中指纹库的提取方法相对应的，所以对其的详细说明请参见对方法的描述。

图6为本发明的一种网络攻击检测中指纹库的提取系统的实施例。包括：读取规则文件单元（S61）、逐条分析规则单元（S62）、生成候选指纹全集单元（S63）、计算候选指纹出现次数T单元（S64）、指纹提取单元（S65）和生成包检测引擎单元（S66）。其中，读取规则文件单元（S61），用于读取规则库中的规则文件；逐条分析规则单元（S62），用于对规则文件进行逐条分析，获得规则的集合；生成候选指纹全集单元（S63），用于从规则的集合中提取出所有字符串信息，去掉重复的字符串后，生成候选指纹全集；计算候选指纹出现次数T单元（S64），用于在训练数据中查找并记录候选指纹全集中所有候选指纹的出现次数；指纹提取单元（S65），用于采用本发明的“提取步骤”生成指纹库；生成包检测引擎单元（S66），用于根据指纹库生成包检测引擎。

本发明的分析训练流量的指纹库提取方法，在提取的过程中考虑了规则和流量两个方面的特性，目的是在减小验证阶段开销的同时，控制生成的指纹库的规模。最终效果是提高IDS中包检测模块的性能。

（1）选取的指纹库的规模小。当多个候选指纹的权重相同时，优先选取RSC最大的候选指纹，使得生成的指纹库的规模较小，生成的多模式匹配引擎结构紧凑，预过滤阶段的效率高；

（2）规则验证阶段的开销小。以权重为度量进行提取，通过选取权重较小的指纹，降低验证阶段的验证开销。

通过实验验证，在开源IDS产品Snort中应用本发明的技术方案后，与最小指纹库方法相比性能提升了69%，与最大指纹库相比性能提升了130%。

以上，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，任何所属技术领域的技术人员，若在不脱离本发明所提出技术特征的范围内，利用本发明所公开的技术内容所做出局部更动或修改的等效实施例，并且未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims (8)

1.一种网络攻击检测中指纹库的提取方法，其特征在于，包括：

训练步骤，获取训练数据，计算规则库的候选指纹全集中每一候选指纹在所述训练数据中的出现次数；

提取步骤，计算每一所述候选指纹的相关规则条目数RSC和权重，根据所述出现次数、相关规则条目数RSC和权重选取所述候选指纹全集中的指纹生成指纹库，所述提取步骤进一步包括：计算每一所述候选指纹的相关规则条目数RSC，根据所述出现次数和所述相关规则条目数RSC计算每一所述候选指纹的权重，将所述权重最小的候选指纹放入所述指纹库中；将所述权重最小的候选指纹从所述候选指纹全集中删除，形成临时候选指纹全集；将所述权重最小的候选指纹的相关规则从所述规则库中删除，形成临时规则库；更新候选指纹全集为临时候选指纹全集，更新规则库为临时规则库，对所述规则库重复所述提取步骤，直到所述规则库为空结束。

2.如权利要求1所述的网络攻击检测中指纹库的提取方法，其特征在于，所述训练步骤中，获取一部分网络数据包作为所述训练数据。

3.如权利要求1所述的网络攻击检测中指纹库的提取方法，其特征在于，所述提取步骤中，所述权重＝所述出现次数*所述相关规则条目数RSC。

4.如权利要求1所述的网络攻击检测中指纹库的提取方法，其特征在于，将所述权重最小的候选指纹放入所述指纹库中，进一步包括：

如果所述权重最小的候选指纹不止一个，那么从中选取所述相关规则条目数RSC最大的候选指纹放入所述指纹库。

5.一种网络攻击检测中指纹库的提取系统，其特征在于，包括：

训练模块，用于获取训练数据，计算规则库的候选指纹全集中每一候选指纹在所述训练数据中的出现次数；

提取模块，用于计算每一所述候选指纹的相关规则条目数RSC和权重，根据所述出现次数、相关规则条目数RSC和权重选取所述候选指纹全集中的指纹生成指纹库，所述提取模块进一步用于：计算每一所述候选指纹的相关规则条目数RSC，根据所述出现次数和所述相关规则条目数RSC计算每一所述候选指纹的权重，将所述权重最小的候选指纹放入所述指纹库中；将所述权重最小的候选指纹从所述候选指纹全集中删除，形成临时候选指纹全集；将所述权重最小的候选指纹的相关规则从所述规则库中删除，形成临时规则库；更新候选指纹全集为临时候选指纹全集，更新规则库为临时规则库，对所述规则库重复所述提取步骤，直到所述规则库为空结束。

6.如权利要求5所述的网络攻击检测中指纹库的提取系统，其特征在于，所述训练模块中，获取一部分网络数据包作为所述训练数据。

7.如权利要求5所述的网络攻击检测中指纹库的提取系统，其特征在于，所述提取模块中，所述权重＝所述出现次数*所述相关规则条目数RSC。

8.如权利要求5所述的网络攻击检测中指纹库的提取系统，其特征在于，将所述权重最小的候选指纹放入所述指纹库中，进一步包括：

如果所述权重最小的候选指纹不止一个，那么从中选取所述相关规则条目数RSC最大的候选指纹放入所述指纹库。