CN101753316A - 一种智能特征提取方法及系统 - Google Patents

Abstract

本发明涉及一种智能特征提取方法及系统。本发明的系统包括匹配特征库、特征匹配器、相似度计算器、特征提取器及入侵检测引擎。本发明的方法包括以下步骤：特征匹配步骤、相似度计算步骤、特征提取步骤及入侵检测步骤。本发明解决了传统的入侵检测产品当中进行特征匹配所使用的特征全部由手工提取的效率问题。实现了在某些特征变化较小的情况下能够依据数据报文进行特征的提取及更新的功能，同时具有速度快和准确率高等优点。

Description

一种智能特征提取方法及系统

技术领域

本发明涉及网络安全技术，尤其涉及一种在网络入侵检测中提取特征的方法。

背景技术

入侵检测/防御系统(Intrusion Detection/Protection System，IDS/IPS)作为网络安全防护的重要手段，通常部署在关键网络内部/网络边界入口处，实时捕获网络内或进出网络的报文数据流并进行智能综合分析，发现可能的入侵行为后进行报警或实施进一步的阻断功能。

目前的入侵检测产品及技术绝大部分是基于协议解析的结果并根据预先设定的各种检测特征(例如对于BT协议以特征字段“BiTTorrent”进行识别)通过模式匹配的方式来进行相应的入侵检测的判断。现有的大部分入侵检测产品当中所使用的检测特征都是由人工进行定义的，大多数都是采用搭建环境、捕捉报文，人工分析的方式进行特征的提取。这样做虽然特征提取的精度很高，但是需要消耗大量的人力、时间。而目前很多的应用软件，尤其是P2P(点对点)(比如BT、emule、迅雷等)、即时通信(IM)类等很多应用非常广泛的软件的版本更新速度非常快，而对于大部分的版本更新而言，带来的数据当中特征的变化其实是非常小的。例如深圳腾讯公司生产的即时通信软件“QQ”几乎1-2个月就会升级一次，其特征在数据报文当中的变化非常细微。在这种情况下，如果对于每次的升级或版本变化都采用传统的人工特征提取方式的话会占用非常多的时间和人力，这种情况下采用这种特征提取方式显然是不经济的。因此有必要实现一种在特征变动很小的情况下进行特征的智能提取的机制，能够自动检测特定的匹配特征在实际报文当中的变化程度，并根据相似度的大小自动的进行匹配特征的更新，进一步提高网络安全产品当中特征提取的效率。根据研究发现很多的网络应用在版本升级等变化中反应在数据报文特征中的变化是非常小的，完全可以通过自动修正的方式进行特征提取及更新，因此实现这种智能特征提取系统是可行的。

发明内容

为了克服现有技术的上述问题，本发明提出一种智能特征提取方法及系统，所述的智能特征提取方法可以满足：在实际网络环境中根据实际捕获的网络报文及预先定义的检测特征判断该特征有效性，在特征匹配成功时直接输出入侵检测引擎进行处理。在特征匹配不成功时对比特征与数据报文当中对应的数据部分的相似度，并在相似度达到预先设定的阈值时自动生成新的匹配特征并将此特征存储于匹配特征库中供后续入侵检测使用。本发明可以在特征变化较小的情况下实现新特征的自动生成，进一步的节省人力和时间的开销，同时保证了准确率及性能。

为了实现本发明的目的，根据本发明的一个方面，提供一种智能特征提取方法，该方法包含以下步骤：

特征匹配步骤，用于将已存储的匹配特征与实际获取的特征进行匹配，如果匹配成功，则直接上报入侵检测引擎；否则进行相似度计算；

相似度计算步骤，用于根据所述特征匹配步骤的匹配结果进行相似度计算；

特征提取步骤，用于根据所述相似度计算步骤的计算结果生成新特征；

入侵检测步骤，用于根据所述特征匹配步骤的匹配结果进行入侵检测。

根据所述的一种智能特征提取方法，所述的特征匹配步骤还包括步骤：

A1、对实际捕获的数据报文进行协议分析，获得实际获取的特征；

A2、将匹配特征库中存储的匹配特征与步骤A1中获取的特征进行特征匹配；

A3、如果特征匹配成功，则直接上报入侵检测引擎进行处理；如果特征匹配失败，则将步骤A1中获取的特征及对应的数据部分输出到相似度计算器进行相似度计算。

根据所述的一种智能特征提取方法，所述的相似度步骤还包括步骤：

B1、依据所述特征匹配步骤的输出特征、对应的数据部分以及特征字段的权重进行相似度的计算；

B2、如果计算得出的相似度小于预先设定的阈值，则不进行处理；如果计算得出的相似度大于预先设定的阈值，则将所述特征匹配步骤输出的特征与相应的数据部分提供给新特征生成器进行特征提取。

根据所述的一种智能特征提取方法，所述的特征提取步骤，还包括步骤：

C1、依据所述相似度计算步骤提供的匹配特征及相对应的数据部分，生成新的匹配特征；

C2、将新的匹配特征输出到匹配特征库；

C3、更新所述匹配特征库。

根据所述的一种智能特征提取方法，所述的入侵检测步骤，还包括步骤：

D1、依据所述特征匹配步骤上报的已匹配的特征进行进一步的入侵检测；

D2、对包含所述已匹配的特征的事件进行进一步处理。

另外，本发明还提供一种智能特征提取系统，该系统包括：匹配特征库、特征匹配器、相似度计算器、新特征生成器及入侵检测引擎，其中

匹配特征库，用于存储进行特征匹配的所有特征，并且与所述特征匹配器相连接；

特征匹配器，用于将已存储的匹配特征与实际获取的特征进行匹配，并且与所述相似度计算器及所述入侵检测引擎相连接；

相似度计算器，用于根据所述特征匹配器的匹配结果进行相似度计算，并且与所述新特征生成器相连接；

新特征生成器，用于根据所述相似度计算器的计算结果生成新特征，并且与所述匹配特征库相连接；

入侵检测引擎，用于根据所述特征匹配器的匹配结果进行入侵检测。

为了进一步说明本发明的原理及特性，以下结合附图和具体实施方式对本发明进行详细说明。

附图说明

图1是按照本发明的一个实施方式的智能特征提取系统的结构示意图；

图2是按照本发明的一个实施方式的智能特征提取系统的工作流程示意图。

具体实施方式

下面结合附图详细描述本发明的具体实施方式。

图1是按照本发明的一个实施方式的智能特征提取系统的结构示意图。该系统包括匹配特征库、特征匹配器、相似度计算器、新特征生成器和入侵检测引擎。

匹配特征库，用于存储进行多模式特征匹配的所有特征。这些特征包括但不限于：常见木马、漏洞的一些报文特征、特定数据库审计报文特征等等。

特征匹配器，用于从匹配特征库中获得匹配特征，并从实际捕获的网络报文数据中提取出特征，然后将从匹配特征库中获得的匹配特征与从实际捕获的网络报文数据中提取出的特征进行特征匹配。如果根据匹配失败，则将实际捕获的网络报文数据中提取出的特征输出到相似度计算器；如果根据匹配成功，则将匹配成功的结果输出到入侵检测引擎。

相似度计算器，用于当特征匹配器进行的特征匹配失败时，将匹配特征库中的匹配特征与从实际捕获的网络报文数据中提取出的特征和对应数据进行相似度计算，然后将相似度计算结果输出到新特征生成器。

新特征生成器，用于依据相似度计算器输出的相似度计算结果进行特征更新，并将更新后的结果输出到匹配特征库。

入侵检测引擎，用于当特征匹配器进行的特征匹配成功时，接收特征匹配器输出的匹配成功结果，进行进一步的入侵检测；然后对包含所述匹配特征的事件进行进一步处理。

图2是按照本发明的一个实施方式的智能特征提取方法的工作流程示意图。

特征匹配步骤：以层次化的协议分析方法(即对各层次的网络协议进行协议分析，包括应用层、网络层、传输层等)对实际捕获的数据报文(采用现有技术即可实现这种捕获)进行协议分析。然后获得实际捕获的数据报文中相应的特征。依据从实际捕获的数据报文中获得的对应特征与匹配特征库中的匹配特征进行匹配；如果特征匹配成功，则直接将匹配成功的结果上报到入侵检测引擎；如果匹配不成功，则将从实际捕获的网络报文数据中提取出的特征和对应数据输出到相似度计算器进行相似度计算。

相似度计算步骤：通过相似度计算器进行相似度计算。依据特征匹配步骤输出的特征、相应的数据报文以及预先设定的权值进行相似度的计算。这里相似度指的是两段数据报文按字节对比相同的程度或者说相同的字节个数。相似度值为相同字节个数与总字节个数的比值。而其中的权值是根据特征当中各字段的含义不同所确定的，例如对于某软件而言，其标识行为的字段权重要高于其标识版本的字段权重。如果计算得出的相似度小于预先设定的阈值，则不进行处理。如果计算得出的相似度大于预先设定的阈值，则将所述特征匹配步骤输出的特征与相应的数据部分提供给新特征生成器进行特征提取。

特征提取步骤：依据相似度计算步骤提供的特征及相应的数据报文，由新特征生成器生成新的匹配特征，然后将产生的新匹配特征存储到匹配特征库中以供后续特征匹配使用。

入侵检测步骤：重复上述步骤，在特征匹配成功时，依据特征匹配步骤中提供的特征，进行进一步的入侵检测。由入侵检测引擎依据预先设定的策略对包含所述特征的事件进行后续入侵检测处理。按照本发明的一个实施方式，入侵检测引擎依据由上述特征匹配步骤输出的特征进行进一步的处理。例如本系统在预先定义特征的时候都会定义该特征代表的事件或攻击的安全等级。当有该特征输出的时候，入侵检测引擎根据预先定义的安全等级或者说威胁级别来确定进一步的处理方式，如上报控制中心或由管理员人工决定或者内部处理无需报警。

按照本发明的一个实施方式，本发明的智能特征提取方法及系统可应用于QQ软件。

首先，以层次化的协议分析方法对实际捕获的数据报文进行协议分析，并依据匹配特征库当中存储的匹配特征在相应的数据报文当中进行特征匹配。如特征匹配成功，则直接上报入侵检测引擎进行处理；如特征匹配失败，则将相应特征及对应的数据部分上报相似度计算步骤进行相似度计算。按照本发明的一个实施方式，匹配特征库中存储了所有的匹配特征，例如，定义2005正式版QQ的文件传输特征如下：

udp_payload＝02 00 5f 0F 3F

上述示例表示，当使用2005正式版的QQ软件进行文件传输时，其数据报文当中UDP协议载荷部分的起始五字节为“02 00 5f 0F 3F”。当实际捕获到2005正式版的QQ软件进行文件传输的数据报文时则该特征匹配正确此时将该特征发生事件直接上报入侵检测引擎进行进一步的检测及处理。当需要进行2009版QQ特征测试时，运行2009版QQ并进行文件传输，在所捕获的实际网络报文中发现此时的UDP协议载荷部分的起始五字节变成了“02 15 01 00 5f”。由于二者不一致，则特征匹配失败，这时将原有特征“02 0F 3F 00 5f”及新的数据报文当中对应的前五字节数据“02 15 01 00 5f”同时输出给相似度计算器，由相似度计算器进行相似度计算。

然后，在相似度计算器进行的相似度计算过程中，依据特征匹配器上报的匹配特征、对应的数据部分以及预先定义的特征各字段的权重进行相似度的计算。对于相似度大于预先设定的阈值的情况，将匹配特征与相应数据上报特征提取步骤进行特征更新，否则不做处理。也就是说，当收到由特征匹配器上报的原有特征及相对应的数据时，根据预先定义的权重计算原有特征与相对应数据的相似度，并根据相似度决定是否进行特征更新处理。如果相似度大于预先定义的阈值，说明原有特征与当前数据体现的特征非常相似，即可以进行特征更新。相关数据将上报新特征生成器进行新的特征更新。如果相似度小于预先定义的阈值，则说明这种特征的变动可能是由于协议变化等引起的明显特征变化，不能自动生成新的匹配特征，则不做进一步的处理。

沿用上一实施例当中的例子，原有的QQ文件传输的匹配特征为“02 0F 3F 005f”。通过协议分析发现其中的0F 3F用于表示QQ的版本号，而00 5f是文件传输动作的标识。因此在预设权重的时候可以将版本号标识字段设置一个比较小的权重，而将QQ中的行为标识字段设定一个比较大的权重，并根据具体的权重设定决定相似度的阈值。例如，当发现目前的对应数据为“02 15 01 00 5f”时，通过加权计算发现相似度较高，高于设定的阈值，则将原特征“02 0F 3F 00 5f”与新数据“02 15 01 00 5f”发送给新特征生成器进行特征更新。若当前收到的相应数据为“02 15 01 0f 11”，也就是说特征在行为标识字段发生变化时，由于行为标识字段具有较高的权重，则计算出的相似度无法达到预先设定的阈值，这说明特征变化可能由于协议本身的变化或新功能等的添加造成的较大变化，此时不进行自动处理。

接下来，依据上述步骤提供的匹配特征及相对应的数据部分，对目前进行特征匹配所使用的匹配特征进行更新，并将更新结果输出到匹配特征库进行相应更新。也就是说，当收到由相似度计算器提供的特征与相对应数据时进行特征的更新。按照本发明的一个实施方式，提供两种更新方式，一种是将新特征加入原有特征当中，另外一种是以新特征完全替代原有特征。

例如，沿用上一实施例当中的例子，当收到原特征“02 0F 3F 00 5f”与新数据“02 15 01 00 5f”时，可以预先设定原有特征的有效期。在有效期内则将新的特征“02 15 01 00 5f”加入原有特征，即在特征匹配的时，将两个特征都作为表示QQ文件传输行为的特征。如果已经超过有效期，则以新的特征“02 15 01 00 5f”完全替代原特征“02 0F 3F 00 5f”，并存储在匹配特征库中，实现匹配特征的更新。

本发明的产生的有益效果是：解决了传统采用特征匹配技术实现的网络安全产品中进行特征提取及定义时依赖人工提取的方式带来的效率问题。针对目前很多的网络应用软件当中版本变更及功能升级频繁的情况而其数据特征本身变化不大的情况，本发明提出了一种智能特征提取方法，可以在特征变化不大的一定范围内实现新特征的自动提取及更新，大大的降低了采用人工提取方式需要的时间及人力。作为入侵检测等网路安全产品的基础，特征提取的准确性和效率很大程度上决定了产品的品质。本发明在保证准确性的同时一定程度上提高了特征提取的效率，具有很好的实施灵活性和适用性，可广泛应用网络产品中。

虽然以上描述了本发明的多个具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述模块单元和/或方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (6)

1.一种智能特征提取方法，其特征在于，该方法包含以下步骤：

特征匹配步骤，用于将已存储的匹配特征与实际获取的特征进行匹配，如果匹配成功，则直接上报入侵检测引擎；否则进行相似度计算；

相似度计算步骤，用于根据所述特征匹配步骤的匹配结果进行相似度计算；

特征提取步骤，用于根据所述相似度计算步骤的计算结果生成新特征；

入侵检测步骤，用于根据所述特征匹配步骤的匹配结果进行入侵检测。

2.根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的特征匹配步骤还包括步骤：

A1、对实际捕获的数据报文进行协议分析，获得实际获取的特征；

A2、将匹配特征库中存储的匹配特征与步骤A1中获取的特征进行特征匹配；

A3、如果特征匹配成功，则直接上报入侵检测引擎进行处理；如果特征匹配失败，则将步骤A1中获取的特征及对应的数据部分输出到相似度计算器进行相似度计算。

3.根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的相似度步骤还包括步骤：

B1、依据所述特征匹配步骤的输出特征、对应的数据部分以及特征字段的权重进行相似度的计算；

B2、如果计算得出的相似度小于预先设定的阈值，则不进行处理；如果计算得出的相似度大于预先设定的阈值，则将所述特征匹配步骤输出的特征与相应的数据部分提供给新特征生成器进行特征提取。

4.根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的特征提取步骤，还包括步骤：

C1、依据所述相似度计算步骤提供的匹配特征及相对应的数据部分，生成新的匹配特征；

C2、将新的匹配特征输出到匹配特征库；

C3、更新所述匹配特征库。

5.根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的入侵检测步骤，还包括步骤：

D1、依据所述特征匹配步骤上报的已匹配的特征进行进一步的入侵检测；

D2、对包含所述已匹配的特征的事件进行进一步处理。

6.一种智能特征提取系统，其特征在于，该系统包括：匹配特征库、特征匹配器、相似度计算器、新特征生成器及入侵检测引擎，

匹配特征库，用于存储进行特征匹配的所有特征，并且与所述特征匹配器相连接；

特征匹配器，用于将已存储的匹配特征与实际获取的特征进行匹配，并且与所述相似度计算器及所述入侵检测引擎相连接；

相似度计算器，用于根据所述特征匹配器的匹配结果进行相似度计算，并且与所述新特征生成器相连接；

新特征生成器，用于根据所述相似度计算器的计算结果生成新特征，并且与所述匹配特征库相连接；

入侵检测引擎，用于根据所述特征匹配器的匹配结果进行入侵检测。

Images