CN1612135B - 一种基于训练分类的协议识别方法 - Google Patents

Abstract

本发明公开了一种入侵检测和/或保护产品与防火墙产品中的协议识别方法，用于识别网络中获得的数据文本的协议类别，该方法包括步骤：采用向量空间模型对所获得的数据文本进行划分，以获得表示该数据文本的数据文本向量；将该数据文本向量与训练文本集中的训练文本向量进行比较，以确定与该数据文本向量最相似的预定数目个训练文本向量；以及根据所确定的预定数目个训练文本向量的协议类别来确定该数据文本向量的协议类别。该方法通过分析各种其在网络中捕获的数据流进行协议分析，发现并阻断其中的入侵行为而不需要查询协议端口映射表或类似数据文件且具有极高的协议识别准确率。

Description

一种基于训练分类的协议识别方法

技术领域

本发明涉及一种网络通讯中的协议识别、协议智能识别、协议自动识别及文本分类系统的协议识别技术，具体地说是一种入侵检测(保护)产品与防火墙产品中的协议识别技术。

背景技术

入侵检测(保护)产品与防火墙产品主要应用于关键网络节点，用于对入侵行为的检测和对网络的安全保护。这些产品通过分析各种其在网络中捕获的数据流进行协议分析，发现并阻断其中的入侵行为。当前所有的入侵检测(保护)产品与防火墙产品均是通过查询端口协议映射表(或类似的数据文件)来判断应该对捕获的报文进行何种协议的分析。例如发现捕获的报文中目的端口是21，则交给FTP协议分析引擎。通常端口映射表可以由管理员进行修改以适应实际环境的需要。该技术的本质是将协议与端口进行了绑定。近年来新一代的网络协议(如各种IM协议，各种P2P协议，各种后门木马软件，各种代理协议等)发展日趋复杂多样，其特点是专门针对入侵检测(保护)产品与防火墙产品做了特殊处理，主要体现在以下方面：为防止被安全产品检测并阻断，这些协议并不会使用固定端口，而是动态或随机的使用系统的某一端口与外界联系。在这种情况下，管理员事先不可能知道其使用了哪个端口，也就无法修改协议端口映射表来驱动入侵检测(保护)产品与防火墙产品进行检测与过滤保护。因此，必须发展新的技术来适应网络发展的需要。该技术必须满足以下要求：

1.必须智能地和自动地识别(协议智能识别与协议自动识别)，不需要查询协议端口映射表或类似数据文件；

2.必须有尽可能高的协议识别准确率。

发明内容

本发明所要解决的技术问题是针对入侵检测(保护)产品与防火墙产品对于非标准端口的网络协议的识别的需求，在入侵检测系统中实现上述需求在技术上的可行性。为此，本发明所采用的技术解决方案是：提供了一种基于训练分类的协议识别方法，用于识别网络中获得的数据文本的协议类别，该方法包括步骤：采用向量空间模型对所获得的数据文本进行划分，以获得表示该数据文本的数据文本向量；将该数据文本向量与训练文本集中的训练文本向量进行比较，以确定与该数据文本向量最相似的预定数目个训练文本向量，其中所述训练文本集包括多个训练文本向量，每个训练文本向量具有预先确定的协议类别，而且每个训练文本向量是通过采用所述向量空间模型划分训练数据文本而获得的；以及根据所确定的预定数目个训练文本向量的协议类别来确定该数据文本向量的协议类别。相比现有技术，本发明通过分析各种其在网络中捕获的数据流而进行协议分析，发现并阻断其中的入侵行为而不需要查询协议端口映射表或类似数据文件且具有极高的协议识别准确率。

附图说明

图1是本发明涉及的入侵检测(保护)产品与防火墙产品中的协议识别技术的系统工作流程框图。

具体实施方式

结合图1，本发明涉及一种入侵检测(保护)产品与防火墙产品中的协议识别技术，其中，所述协议识别技术包括训练过程方法和分类过程方法，而所述的训练过程方法包括训练文本预处理、特征项抽取、训练文本再处理及衔接后续的构造分类器的步骤，所述的分类过程方法包括新文本预处理、分类和输出的步骤。更具体地说，本发明是指通过分析捕获网络中的数据报文，进行各种统计运算和模式匹配发现其所属协议，然后交给协议分析引擎进行进一步的分析的一种技术方法。一般地讲，在建立网络通讯的协议识别技术中首先要明确文本分类系统和评估技术的数学描述这两个问题：文本分类系统是指在给定的分类体系下，根据文本的内容自动地确定文本关联的类别。从数学角度来看，文本分类是一个映射的过程，它将未标明类别的文本映射到已有的类别中，该映射可以是一一映射，也可以是一对多的映射，因为通常一篇文本可以同多个类别相关联。用数学公式表示如下：

f：A→B  其中：A为待分类的文本集合，B为分类体系中的类别集合

文本分类的映射规则是系统根据已经掌握的每类若干样本的数据信息，总结出分类的规律性而建立的判别公式和判别规则。然后在遇到新文本时，根据总结出的判别规则，确定文本相关的类别。我们的协议识别技术基于文本分类系统，把入侵检测系统捕捉到的数据包根据文本分类系统进行处理，从而确定该协议的类型。

关于评估技术的数学描述是因为文本分类从根本上说是一个映射过程，所以评估文本分类系统的标志是映射的准确程度和映射的速度。映射的速度取决于映射规则的复杂程度，而评估映射准确程度的参照物是通过专家思考判断后对文本的分类结果(这里假设人工分类完全正确并且排除个人思维差异的因素)，与人工分类结果越相近，分类的准确程度就越高，这里隐含了评估文本分类系统的两个指标：准确率和查全率。

准确率是所有判断的文本中与人工分类结果吻合的文本所占的比率。其数学公式表示如下：

查全率是人工分类结果应有的文本中分类系统吻合的文本所占的比率，其数学公式表示如下：

准确率和查全率反映了分类质量的两个不同方面，两者必须综合考虑，不可偏废，因此，存在一种新的评估指标，F1测试值，其数学公式如下：

另外有微平均和宏平均两种计算准确率、查全率和F1值的方法。

微平均：计算每一类的准确率、查全率和F1值。

宏平均：计算全部类的准确率、查全率和F1值。

所有文本分类系统的目标都是使文本分类过程更准确，更快速。

本发明涉及的协议识别技术是在文本分类上主要采用向量空间模型(VSM)。向量空间模型的基本思想是以向量来表示文本：(W₁，W₂，W₃......W_n)，其中W_i为第i个特征项的权重，那么选取什么作为特征项呢，一般可以选择单个数据包的数据部分或连续的某个连接的数据包序列，根据实验结果，普遍认为选取隶属于同一个tcp连接的连续的若干的数据包作为特征项要优于单个数据包，因此，要将某个网络连接表示为向量空间中的一个向量，就首先要将该连接划分为若干个“连续数据包序列”，即将文本分词，由这些词作为向量的维数来表示文本，最初的向量表示完全是0、1形式，即如果连续数据包序列中出现了某个关键字，那么该向量的该维为1，否则为0。这种方法无法体现该关键字在数据包序列中的作用程度，所以逐渐0、1被更精确的词频代替，词频分为绝对词频和相对词频，绝对词频，即使用词在文本中出现的频率表示文本，相对词频为归一化的词频，其计算方法主要运用TF-IDF公式，目前存在多种TF-IDF公式，我们在系统中采用了一种比较普遍的TF-IDF公式：

$W(t,\stackrel{\‾}{d})=\frac{\mathrm{tf}(t,\stackrel{\‾}{d})\×\log (N/n_i+0.01)}{\sqrt{{\mathrm{\Σ}}_{t\∈\stackrel{\‾}{d}}}{[\mathrm{tf}(t,\stackrel{\‾}{d})\×\log (N/n_i+0.01)]}^2}$

其中，W(t，d)词t在文本d中的权重，而tf(t，d)为词t在文本d中的词频，N为训练文本的总数，n_i为训练文本集中出现t的文本数，分母为归一化因子。

另外还存在其他的TF-IDF公式，例如：

$W(t,\stackrel{\‾}{d})=\frac{(1+{\log }_2\mathrm{tf}(t,\stackrel{\‾}{d}))\×{\log }_2(N/n_i)}{\sqrt{{\mathrm{\Σ}}_{t\∈\stackrel{\‾}{d}}}{[(1+{\log }_2\mathrm{tf}(t,\stackrel{\‾}{d}))\×{\log }_2(N/n_i)]}^2}$

该公式中参数的含义与上式相同。

某网络连接的数据包经过分词程序分词(划分为连续数据包序列)后，统计词频，最后表示为上面描述的向量。

特征项的提取：

构成文本的词汇量很大，因此，表示文本的向量空间的维数也相当大，可以达到几万维，因此，本发明需要进行维数压缩的工作，这样做的目的主要有两个，第一，为了提高程序的效率，提高运行速度，第二，所有几万个特征词汇对文本分类的意义是不同的，对于数据包特征项，恐怕要更多。

在本发明的系统中采用了词和类别的互信息量进行特征项抽取的判断标准，其算法过程如下所列：

第一步骤：初始情况下，该特征项集合包含所有该类中出现的词。

第二步骤：对于每个词，计算词和类别的互信息量

其中， $P\left(W\right|C_j)=\frac{1+{\mathrm{\Σ}}_{l=1}^{\left|D\right|}N(W,d_i)}{\left|V\right|+{\mathrm{\Σ}}_{s=1}^{\left|V\right|}{\mathrm{\Σ}}_{i=1}^{\left|D\right|}N(W_s,d_i)},$ P(W|C_j)为W在C_j中出现的比重，|D|为该类的训练文本数，N(W，d_i)为词W在d_i中的词频，|V|为总词数，∑_x＝1 ^|V|∑_l＝1 ^|D|N(W_s，d_i)为该类所有词的词频和。

而P(W)同上面的计算公式相同，只是计算词在所有训练文本中的比重，其中，|D|为全体训练文本数。

第三步骤：对于该类中所有的词，依据上面计算的互信息量排序。

第四步骤：抽取一定数量的词作为特征项，具体需要抽取多少维的特征项，目前无很好的解决办法，一般采用先定初始值，然后根据实验测试和统计结果确定最佳值，一般初始值定在几千左右。

第五步骤：将每类中所有的训练文本，根据抽取的特征项，进行向量维数压缩，精简向量表示。

其他抽取特征项的算法，除判断函数上有所差别，主要过程类似。

训练方法和分类算法：

协议识别系统的核心部分，目前存在多种基于向量空间模型的训练算法和分类算法，例如，支持向量机算法、神经网络方法，最大平均熵方法，最近K邻居方法和贝叶斯方法等等，本发明使用了KNN算法。

该算法的基本思路是：在给定新文本后，考虑在训练文本集中与该新文本距离最近(最相似)的K篇文本，根据这K篇文本所属的类别判定新文本所属的类别，具体的算法步骤如下：

第一步骤：根据特征项集合重新描述训练文本向量

第二步骤：在新文本到达后，根据特征词分词新文本，确定新文本的向量表示

第三步骤：在训练文本集中选出与新文本最相似的K个文本，计算公式为：

$\mathrm{Sim}(d_i,d_j)=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{ik}}\×W_{\mathrm{jk}}}{\sqrt{\left(\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{ik}}^2\right)\left(\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{jk}}^2\right)}}$

其中，Sim(d_i，d_j)为两个数据向量的相似度。W_ik表示第K个词在数据向量中的表示。M值的确定目前没有很好的办法，一般采用先定一个初始值，然后根据实验测试的结果调整M值，一般初始值定为几百到几千之间。

第四步骤：在新文本的K个邻居中，依次计算每类的权重，计算公式如下：

$p(\stackrel{\‾}{x},C_j)=\underset{{\stackrel{\‾}{d}}_i\∈\mathrm{KNN}}{\mathrm{\Σ}}\mathrm{Sim}(\stackrel{\‾}{x},{\stackrel{\‾}{d}}_i)y({\stackrel{\‾}{d}}_i,C_j)$

其中，x为新文本的特征向量，Sim(x，d_i)为相似度计算公式，

与上一步骤的计算公式相同，而y(d_i，C_j)为类别属性函数，

即，如果d_i属于类C_j，那么函数值为1，否则为0。

第五步骤：比较类的权重，将文本分到权重最大的那个类别中。

测试数据：

在一个实际的网格环境下测试我们的入侵检测系统实现的协议识别技术，并对其效率和结果进行比较分析。

测试库中回放的都是在实际网络条件下捕获的实际数据(都是开放在非正常端口的协议)，绝大部分采自电信骨干网，还有部分来自我们自己的内部网络。所有的捕获的连接都由专家事先进行分类，按照协议分类法分成远程登陆、文件传输、WEB访问、P2P等共38类。本发明选择训练集和测试集的方法如下：将这些分好类的网络连接的捕获包平均分成十份，选择其中一份作为开放测试集，剩余的九份作为训练集和封闭测试集。这样每一份都依次轮流作为开放测试集，运行协议识别算法，共执行10次分类操作，计算其平均值，实验结果如下表所示：

算法

封闭测试查全率

封闭测试准确率

封闭测试F1值

开放测试查全率

开放测试准确率

开放测试F1值

KNN

99.11％

91.42％

90.25％

93.29％

95.12％

94.20％

可以看到，本发明的协议识别技术已经满足了需求，协议识别的准确率可以达到98％以上。

Claims (5)

1.一种基于训练分类的协议识别方法，用于识别网络中获得的数据文本的协议类别，该方法包括步骤：

采用向量空间模型对所获得的数据文本进行划分，以获得表示该数据文本的数据文本向量；

基于该数据文本向量与训练文本集中的训练文本向量的相似度，确定与该数据文本向量最相似的预定数目个训练文本向量，其中所述训练文本集包括多个训练文本向量，每个训练文本向量具有预先确定的协议类别，而且每个训练文本向量是通过采用所述向量空间模型划分训练文本而获得的；以及

根据所确定的预定数目个训练文本向量的协议类别来确定该数据文本向量的协议类别，

其中所述采用向量空间模型对所获得的数据文本进行划分以获得表示该数据文本的数据文本向量的步骤包括：

将所述数据文本划分为若干个连续数据包序列，每个数据包序列为一个特征项；以及

以所述特征项作为所述数据文本向量的维数，将所述数据文本向量表示为(W_d1，W_d2，W_d3......W_dn)，其中W_di为第i个特征项在所述数据文本中的权重，其中所述W_di采用TF-IDF公式进行计算，

其中通过以下步骤来获得所述训练文本集中的训练文本向量：

将所述训练文本划分为若干个连续数据包序列，每个数据包序列为一个特征项；以及

以所述特征项作为所述训练文本向量的维数，将所述训练文本向量表示为(W₁，W₂，W₃......W_n)，其中W_i为第i个特征项在所述训练文本中的权重，其中所述W_i采用TF-IDF公式进行计算，

其中所述确定与该数据文本向量最相似的预定数目个训练文本向量的步骤包括：

利用下面的相似度计算公式来确定两个文本之间的相似度：

$\mathrm{Sim}(d_i,d_j)=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{ik}}\×W_{\mathrm{jk}}}{\sqrt{\left(\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{ik}}^2\right)\left(\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{jk}}^2\right)}}$

其中，Sim(d_i，d_j)为两个数据向量的相似度。W_ik表示第K个词在数据向量中的表示。M值为预设值，以及

其中根据所确定的预定数目个训练文本向量的协议类别来确定该数据文本向量的协议类别包括：

对于所确定的预定数目个训练文本向量，依次计算每个协议类别的权重，计算公式如下：

$p(\stackrel{\→}{x},C_j)=\underset{{\stackrel{\→}{d}}_i\∈\mathrm{KNN}}{\mathrm{\Σ}}\mathrm{Sim}(\stackrel{\→}{x},{\stackrel{\→}{d}}_i)y({\stackrel{\→}{d}}_i,C_j)$

其中，

为数据文本向量，为相似度计算公式，

为协议类别属性函数，即，如果属于类C_j，那么函数值为1，否则为0；

确定权重最大的协议类别，并将其确定为该数据文本的协议类别。

2.如权利要求1所述的协议识别方法，其中所述M值在几百到几千之间。

3.如权利要求2所述的协议识别方法，其中所述M值根据实验测试结果进行调整。

4.如权利要求1所述的协议识别方法，其中Wi的计算公式为：

$W(t,\stackrel{\→}{d})=\frac{\mathrm{tf}(t,\stackrel{\→}{d})\×\log (N/n_t+0.01)}{\sqrt{{\mathrm{\Σ}}_{t\∈\stackrel{\→}{d}}{[\mathrm{tf}(t,\stackrel{\→}{d})\×\log (N/n_t+0.01)]}^2}}$

其中，

为词t在训练文本

中的权重，而

为词t在训练文本

中的词频，N为训练文本的总数，n_i为所述训练文本集中出现t的文本数，分母为归一化因子。

5.如权利要求1所述的协议识别方法，其中所述获得训练文本集中的训练文本向量还包括用于对训练文本向量的维数进行压缩的步骤，所述压缩步骤包括子步骤：

设置初始特征项集合，所述特征项集合包括协议类别中出现的全部词；

对于所述特征项集合中每个词，计算词和协议类别的互信息量

其中，其中P(W|C_j)为W在C_j中出现的比重，|D|为该协议类别的训练文本数，N(W，d_i)为词W在d_i中的词频，|V|为总词数，为该协议类别中的所有词的词频和；

依据所计算的互信息量对所述特征项集合中词进行排序；

根据排序结果，抽取一定数量的词作为特征项；以及

将训练文本集中属于每个协议类别的所有训练文本向量，根据所抽取的特征项进行向量维数压缩，以获得减少了向量维数的训练文本向量。