CN105827603A - 未明协议特征库建立方法、未明报文分类方法及相关装置 - Google Patents

Abstract

本发明公开了一种未明协议特征库建立方法，包括：获取报文集样本，所述报文集样本中包含多种未明协议的报文；对所述报文集样本进行预处理，生成预处理后的报文集；基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；根据所述至少一个未明协议特征字符串建立未明协议特征库。上述方法能够适用于多种未明协议混合的情形。相应的，本发明还公开了一种未明报文分类方法及相关装置。

Description

未明协议特征库建立方法、未明报文分类方法及相关装置

技术领域

本发明涉及信息处理技术领域，更具体的说，是涉及一种未明协议特征库建立方法、未明报文分类方法及相关装置。

背景技术

网络协议是网络中实体进行通信的规范。网络协议运行，产生与该协议对应的报文，称为网络流量。网络流量的分类是指根据产生该流量的协议和应用不同对网络流量进行的分类。网络流量分类是进行网络安全监控、入侵检测、计费和服务质量保障等网络管理操作的基础。近年来，网络中出现了大量私有、非标准协议，把这些协议称为“未明协议”，把由这些协议运行所产生的网络报文称为“未明报文”。

传统的基于报文载荷的分类方法需要预先知道协议的特征字符串。对于未明协议分类问题，为了应用基于报文载荷的分类方法，需要研究如何自动提取未明协议的特征字符串。

现有的自动提取未明协议的特征字符串的方法主要是面向纯净的未明协议报文集合，然而，在实际中往往是多种未明协议混合的情形。使用现有的自动提取未明协议的特征字符串的方法对混合了多种不同未明协议的报文进行特征字符串提取，所得结果不能作为未明协议的分类特征。而且，现有的自动提取未明协议的特征字符串的方法主要是针对频繁字符串的提取，然而，频繁字符串并不等价于未明协议的特征字符串，这将导致自动提取的未明协议的特征字符串不准确，影响未明协议的分类结果。

发明内容

有鉴于此，本发明提供了一种未明协议特征库建立方法、未明报文分类方法及相关装置，以克服采用现有技术中自动提取未明协议的特征字符串的方法对混合了多种不同未明协议的报文进行特征字符串提取导致自动提取的未明协议的特征字符串不准确，影响未明协议的分类结果的问题。

为实现上述目的，本发明提供如下技术方案：

一种未明协议特征库建立方法，包括：

获取报文集样本，所述报文集样本中包含多种未明协议的报文；

对所述报文集样本进行预处理，生成预处理后的报文集；

基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

根据所述至少一个未明协议特征字符串建立未明协议特征库。

优选的，所述对所述报文集样本进行预处理生成预处理后的报文集，具体包括：

删除所述报文集样本中的残报文；

提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数；

将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

优选的，所述基于改进的Kmeans算法对所述预处理的报文集合进行聚类生成多个报文簇，具体包括：

基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

计算每个分簇结果对应的误差平方和的值；

确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

优选的，所述对所述多个频繁特征进行处理确定至少一个未明协议特征字符串，具体包括：

采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

一种未明报文分类方法，根据上述未明协议特征库建立方法确定分类器，则所述方法包括：

获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

输出所述已分类报文。

优选的，所述方法还包括：

确定未分类报文；

判断所述未分类报文的数量是否大于预设阈值；

当所述未分类报文的数量小于预设阈值时，输出未分类报文；

当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用权利要求上述的未明协议特征库建立方法更新未明协议特征库。

一种未明协议特征库建立装置，包括：

报文集样本获取单元，用于获取报文集样本，所述报文集样本中包含多种未明协议的报文；

预处理单元，用于对所述报文集样本进行预处理，生成预处理后的报文集；

报文簇生成单元，用于基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

频繁特征生成单元，用于基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

特征字符串确定单元，用于对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

未明协议特征库建立单元，用于根据所述至少一个未明协议特征字符串建立未明协议特征库。

优选的，所述预处理单元具体用于：

删除所述报文集样本中的残报文；

提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数；

将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

优选的，所述报文簇生成单元，具体用于：

基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

计算每个分簇结果对应的误差平方和的值；

确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

优选的，所述特征字符串确定单元具体用于：

采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

一种未明报文分类装置，根据上述的未明协议特征库建立装置确定分类器，则所述未明报文分类装置包括：

报文集获取单元，用于获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

分类单元，用于根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

输出单元，用于输出所述已分类报文。

优选的，所述分类单元，还用于确定未分类报文；

则所述装置还包括：

判断单元，用于判断所述未分类报文的数量是否大于预设阈值；

处理单元，用于当所述未分类报文的数量小于预设阈值时，输出未分类报文；当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用上述的未明协议特征库建立装置更新未明协议特征库。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种未明协议特征库建立方法，包括：获取报文集样本，所述报文集样本中包含多种未明协议的报文；对所述报文集样本进行预处理，生成预处理后的报文集；基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；根据所述至少一个未明协议特征字符串建立未明协议特征库。上述方法能够适用于多种未明协议混合的情形。相应的，本发明还公开了一种未明报文分类方法及相关装置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种未明协议特征库建立方法流程示意图；

图2为本发明实施例公开的一种未明报文分类方法流程示意图；

图3为本发明实施例公开的一种未明协议特征库建立装置结构示意图；

图4为本发明实施例公开的一种未明报文分类装置的结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：

残报文：若报文的实际长度小于设计长度，则称该报文为残报文。例如，把报文记作d，用d.pos表示报文d的第pos个字节的取值，用d.len表示报文d的实际长度。假定报文中存在长度域Length，它的起始位置为它的长度(按字节计)是Length.len＝t，则一个报文的设计长度为则，若则该报文为残报文。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

由背景技术可知，使用现有的自动提取未明协议的特征字符串的方法对混合了多种不同未明协议的报文进行特征字符串提取，所得结果不能作为未明协议的分类特征。而且，现有的自动提取未明协议的特征字符串的方法主要是针对频繁字符串的提取，然而，频繁字符串并不等价于未明协议的特征字符串，这将导致自动提取的未明协议的特征字符串不准确，影响未明协议的分类结果。

为此，本发明公开了一种未明协议特征库建立方法，包括：获取报文集样本，所述报文集样本中包含多种未明协议的报文；对所述报文集样本进行预处理，生成预处理后的报文集；基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；根据所述至少一个未明协议特征字符串建立未明协议特征库。上述方法能够适用于多种未明协议混合的情形。相应的，本发明还公开了一种未明报文分类方法及相关装置。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在本发明中，假定所涉及的报文均按字节定义，且报文之间彼此独立，每个报文的特征字符串均在该报文所对应序列的固定位置。其中，在报文中频繁出现的，且能够识别该类协议的字符串，被定义为特征字符串。

实施例一

请参阅附图1，为本发明实施例公开的一种未明协议特征库建立方法流程示意图，该方法具体包括如下步骤：

S101：获取报文集样本，所述报文集样本中包含多种未明协议的报文；

S102：对所述报文集样本进行预处理，生成预处理后的报文集；

具体的，该步骤包括：

S1021：删除所述报文集样本中的残报文。

由于接收质量的原因，报文集样本中存在残报文，需要将其删除。

假设报文集样本为D^(raw)，其中包含报文d，如果则从D^(raw)中删除该报文d。删除残报文之后，得到的报文集合记为D，其中包含的报文样本数N＝|D|。

S1022：提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数。

根据对报文格式的假定，报文中的特征字符串出现在位置靠前的地方的可能性很高，因此，对D中包含的每个报文样本，提取前n0个字节，若报文样本的长度不足n0，则补0。

S1023：将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

预处理后的报文集与报文集样本相比，有所缩减。

S103：基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

具体的，该步骤包括：

S1031：基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

S1032：计算每个分簇结果对应的误差平方和的值；

S1033：确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

由于经典的Kmeans算法的结果受随机初始值的影响，故本实施例中对所述预处理后的报文集进行多轮聚类，得到多个分簇结果，并取误差平方和的值最小的分簇结果。经过该种方法取得的分簇结果更为精确。

基于此，本实施例公开了如下生成报文簇的示例：

首先，把D中的第i个样本记为d_i，看作一个n₀维矢量，即对样本i和j，采用欧氏距离定义二者的距离，如下式：

$d_{\mathrm{ij}}={\left(\underset{n=1}{\overset{n_0}{\mathrm{\Σ}}}{(d_{i,n}-d_{j,n})}^2\right)}^{1/2}---\left(1\right)$

则，基于改进Kmeans算法的未明报文聚类的基本步骤如下：

1、初始化：设定如下变量的初始值。

Round，轮数，初始值为M；

δ：误差平方和，初始值为max；

Y：报文簇的簇心；

V：报文簇的数量，初始值为其中，c是常数，可以取1～5，N是预处理后的报文集中的报文样本数；

IterMax：最大迭代次数，初始值为100；

ε：相对误差最小增量，初始值为le-5；

r：轮次变量，初始值为1。

2、若r≤Round，完成如下操作：

a)随机选择V个样本点作为初始化簇心，记为Y⁽¹⁾＝[y_1，1，...，y_1，V]，迭代次数t＝1

b)对于第i个样本d_i，选择满足如下要求的簇心，

$y_i^{*}={\arg \min }_{v=1,...,V}d(d_i,y_{1,v})---\left(2\right)$

c)根据步骤b)中计算得到的簇心，计算本次迭代所得分簇结果的误差平方和，如式

${\mathrm{\δ}}^{\left(t\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}^2(d_i,y_i^{*})---\left(3\right)$

若且t＜IterMax，则记录本次迭代的簇心转步骤d)；否则转步骤e)。

d)t＝t+1，采用下面的方法记录分簇结果，即，

$C_v^{\left(t\right)}=\left\{d_i\right|1\≤i\≤N,y_i^{*}=y_{t,v}\}---\left(4\right)$

且满足式(5)和式(6)

${\∪}_{v=1}^V{C}_v^{\left(t\right)}=D---\left(5\right)$

$C_v^{\left(t\right)}\∩C_j^{\left(t\right)}=\mathrm{\φ},1\≤v,j\≤V,v\≠j---\left(6\right)$

对采用下面的方法计算簇心

$y_v^{(t+1)}=\frac{\underset{d_i\∈C_v^{\left(t\right)}}{\mathrm{\Σ}}{d}_i}{\left|C_v^{\left(t\right)}\right|}---\left(7\right)$

记录令t＝t+1，转步骤b)。

e)记录本轮计算得到的簇心Y和误差平方和δ^(t)，若δ^(t)＜δ，则δ：＝δ^(t)，Y＝Y^(t)

3、输出结果Y，利用(2)式为每个样本找到簇心，然后利用式(7)计算分簇结果C_result＝{C_v，v＝1，...，V}。

S104：基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

经过S103的处理，得到了相对纯净的报文簇，即，每个报文簇中包含的大多数报文样本属于同一类未明协议。本步骤中，以每个报文簇中的样本为输入，采用改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征。

对此，本发明实施例公开了一种生成多个频繁特征的具体示例，如下：

首先，确定如下定义：

含位置信息的字符：由字符和字符在帧中的位置两部分构成，第n个元素用cha_n→pos_n来表示，cha_n是第n个元素的字符，pos_n代表该字符在帧中的位置，简记为c_n。

相等：对c_n和c_m，若cha_n＝cha_m且pos_n＝pos_m，则称c_n和c_m相等。

k项集：由k个字符组成的集合，记为

支持度：项集在簇内所有帧中出现的频率，假设在N帧中包含I_k的帧数为X，则支持度为：

sup(I_k)＝X/N

频繁k项集：支持度大于minsupport的k项集称为频繁k项集，用l^(k)来表示，

频繁项集的集合：把l^(k)构成的集合称为频繁k项集的集合，用L_k表示。用|L_k|表示频繁k项集的个数。

帧向量：将频繁1项集按位置先后进行排序，定义第i帧向量为

$E=\{c_1^i,c_2^i,c_3^i,...,c_{\left|L_1\right|}^i\}$

其中，若第i帧存在字符cha_k，且其位置为pos_k，则其特征对应的值为k，否则为空。

利用改进的Apriori算法对第v个报文簇进行频繁特征提取，提取结果保存在频繁特征集L(v)中.具体步骤如下：

1、提取频繁1项。构建包含位置信息的字符，并统计各元素在簇内所有帧中出现的次数，根据设定的最小支持度阈值minsupport，保留出现次数大于最小支持度阈值的项作为频繁1项。

2、构建帧向量表。将频繁1项与簇内数据帧对比，针对每条数据帧构建帧向量，然后将所有的帧向量组合生成帧特征向量表。

假设有五帧待处理的数据帧，六个频繁1项，分别由c₁-c₆表示，其位置关系为pos₁≤pos₂≤pos₃≤pos₄≤pos₅≤pos₆，则建立特征向量表如下：

五行数据分别为五帧数据对应的帧向量。

3、令k＝1，将L₁中的元素保存到L(v)中

4、连接：若|L_k|≥2，对L_k执行连接操作，得到A_k+1，A_k+1是候选k+1项集的集合。连接操作的具体方法如下：从L_k中任取和若满足对所有m＜k均有则和是可连接的，连接产生新的项集

5、剪枝：从集合A_k+1中删除小于最小支持度阈值的k+1项集，得到L_k+1，并将L_k+1保存到L(v)中；

6、若L_k+1不为空集，则k＝k+1，转步骤4，否则转步骤7

7、对L(v)中的元素完成去冗余操作：如果存在两个频繁项集相等，则从L中删除若两个频繁项集是包含关系，即对(其中t＜k)，满足对任意m≤t有则从L中删除经过以上步骤，最终频繁项集合L(v)中保留下来的频繁项集即为从第v簇提取的固定位置频繁特征。

S105：对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

具体的，可采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

基于此，本发明实施例给出如下示例以详细说明该步骤的具体实现，如下：

1、将L(1)，...，(L)v混合，得到L。L＝{C₁，...，C_M}，其中，其中|C_i|表示频繁特征C_i中包含的元素数。cha_ij表示第i个频繁特征中的第j个元素的取值，pos_ij表示第i个频繁特征中第j个元素在帧中的位置。

2、删除重复频繁特征，扫描L，删除包含元素数小于频繁特征元素数量限制的频繁特征，即，若|C_i|＜q，则从L中删除该项。其中q是根据实际应用设定的频繁特征的元素数下限。

3、扫描L，当频繁特征存在包含关系时，保留最短的子集作为频繁特征。即，若存在则删除C_j

4、截短交叉项。扫描L，对C_i∩C_j≠φ的频繁特征，若前P个元素对应相同，则截短原频繁特征，仅保留前P个元素，生成新的频繁特征，删除原频繁特征C_i和C_j。即，若存在C_i，C_j∈L满足c_im＝c_jm(当m≤p时)且c_im≠c_jm(当m＞p)时，生成新特征C＝[c_im，m＝0，...，p]保存到L中，并删除C_i和C_j。

5、排序。将L中的频繁特征按如下原则排序，并输出最终的频繁特征集。

排序按照起点位置(即pos_i0)由小到大的顺序进行排列，当pos_i0相同时，按照频繁特征的元素个数由小到大进行排序。即，对频繁特征集按如下原则排序若则若则

S106：根据所述至少一个未明协议特征字符串建立未明协议特征库。

本实施例公开了一种未明协议特征库建立方法，包括：获取报文集样本，所述报文集样本中包含多种未明协议的报文；对所述报文集样本进行预处理，生成预处理后的报文集；基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；根据所述至少一个未明协议特征字符串建立未明协议特征库。上述方法能够适用于多种未明协议混合的情形。

在上述本发明公开的实施例的基础上，本发明还公开了一种未明报文分类方法，首先根据实施例一中的未明协议特征库建立方法确定分类器，则请参阅附图2，图2为本发明实施例公开的一种未明报文分类方法流程示意图，该方法具体包括如下步骤：

S201：获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

S202：根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

S203：输出所述已分类报文。

需要说明的是，对于未分类报文，可以进行如下处理：

确定未分类报文；

判断所述未分类报文的数量是否大于预设阈值；

当所述未分类报文的数量小于预设阈值时，输出未分类报文；

当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用实施例一所述的未明协议特征库建立方法更新未明协议特征库。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种未明协议特征库建立装置，下面给出具体的实施例进行详细说明。

实施例三

请参阅附图3，为本发明实施例公开的一种未明协议特征库建立装置的具体结构示意图，该装置包括如下单元：

报文集样本获取单元11，用于获取报文集样本，所述报文集样本中包含多种未明协议的报文；

预处理单元12，用于对所述报文集样本进行预处理，生成预处理后的报文集；

报文簇生成单元13，用于基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

频繁特征生成单元14，用于基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

特征字符串确定单元15，用于对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

未明协议特征库建立单元16，用于根据所述至少一个未明协议特征字符串建立未明协议特征库。

所述预处理单元具体用于：

删除所述报文集样本中的残报文；

提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数；

将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

所述报文簇生成单元，具体用于：

基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

计算每个分簇结果对应的误差平方和的值；

确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

所述特征字符串确定单元具体用于：

采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

需要说明的是，上述各个单元的具体功能实现已在方法实施例一中详细描述，本实施例不再赘述。

在上述实施例的基础上，本发明还公开了一种未明报文分类装置，根据实施例三中所述的未明协议特征库建立装置确定分类器，则请参阅附图4，为本发明实施例公开的一种未明报文分类装置的结构示意图，该装置具体包括如下单元：

报文集获取单元21，用于获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

分类单元22，用于根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

输出单元23，用于输出所述已分类报文。

需要说明的是，所述分类单元，还用于确定未分类报文；

则所述装置还包括：

判断单元，用于判断所述未分类报文的数量是否大于预设阈值；

处理单元，用于当所述未分类报文的数量小于预设阈值时，输出未分类报文；当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用权利要求7～10中任意一项所述的未明协议特征库建立装置更新未明协议特征库。

需要说明的是，上述各个单元的具体功能实现已在方法实施例二中详细说明，本实施例不再赘述。

综上所述：

本发明公开了一种未明协议特征库建立方法，包括：获取报文集样本，所述报文集样本中包含多种未明协议的报文；对所述报文集样本进行预处理，生成预处理后的报文集；基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；根据所述至少一个未明协议特征字符串建立未明协议特征库。上述方法能够适用于多种未明协议混合的情形。相应的，本发明还公开了一种未明报文分类方法及相关装置。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种未明协议特征库建立方法，其特征在于，包括：

获取报文集样本，所述报文集样本中包含多种未明协议的报文；

对所述报文集样本进行预处理，生成预处理后的报文集；

基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

根据所述至少一个未明协议特征字符串建立未明协议特征库。

2.根据权利要求1所述的方法，其特征在于，所述对所述报文集样本进行预处理生成预处理后的报文集，具体包括：

删除所述报文集样本中的残报文；

提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数；

将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

3.根据权利要求1所述的方法，其特征在于，所述基于改进的Kmeans算法对所述预处理的报文集合进行聚类生成多个报文簇，具体包括：

基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

计算每个分簇结果对应的误差平方和的值；

确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

4.根据权利要求1所述的方法，其特征在于，所述对所述多个频繁特征进行处理确定至少一个未明协议特征字符串，具体包括：

采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

5.一种未明报文分类方法，其特征在于，根据权利要求1～4中任意一项所述的未明协议特征库建立方法确定分类器，则所述方法包括：

获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

输出所述已分类报文。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定未分类报文；

判断所述未分类报文的数量是否大于预设阈值；

当所述未分类报文的数量小于预设阈值时，输出未分类报文；

当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用权利要求1～4中任意一项所述的未明协议特征库建立方法更新未明协议特征库。

7.一种未明协议特征库建立装置，其特征在于，包括：

报文集样本获取单元，用于获取报文集样本，所述报文集样本中包含多种未明协议的报文；

预处理单元，用于对所述报文集样本进行预处理，生成预处理后的报文集；

报文簇生成单元，用于基于改进的Kmeans算法对所述预处理后的报文集进行聚类，生成多个报文簇；

频繁特征生成单元，用于基于改进的Apriori算法提取每个报文簇中的频繁特征，生成多个频繁特征；

特征字符串确定单元，用于对所述多个频繁特征进行处理，确定至少一个未明协议特征字符串；

未明协议特征库建立单元，用于根据所述至少一个未明协议特征字符串建立未明协议特征库。

8.根据权利要求7所述的装置，其特征在于，所述预处理单元具体用于：

删除所述报文集样本中的残报文；

提取删除残报文之后的报文集样本中每个报文的前n0个字节，n0为大于0的正整数；

将所述每个报文的前n0个字节组合生成所述预处理后的报文集。

9.根据权利要求7所述的装置，其特征在于，所述报文簇生成单元，具体用于：

基于经典的Kmeans算法对所述预处理后的报文集进行预设次数的聚类，获得与所述预设次数相等数量的分簇结果；

计算每个分簇结果对应的误差平方和的值；

确定误差平方和的值最小的分簇结果中包含的报文簇作为所述多个报文簇。

10.根据权利要求7所述的装置，其特征在于，所述特征字符串确定单元具体用于：

采用如下方式中的一种或多种的组合对所述多个频繁特征进行处理确定至少一个未明协议特征字符串：

删除所述多个频繁特征中元素数少于预设门限的频繁特征；

对所述多个频繁特征中相同的频繁特征，保留一个；

对存在包含关系的频繁特征，保留长度最小的频繁特征；

对存在交叉关系的频繁特征，进行截短交叉项处理。

11.一种未明报文分类装置，其特征在于，根据权利要求7～10中任意一项所述的未明协议特征库建立装置确定分类器，则所述未明报文分类装置包括：

报文集获取单元，用于获取待处理的报文集，所述报文集样本中包含多种未明协议的报文；

分类单元，用于根据所述分类器对所述待处理的报文集进行分类，确定已分类报文；

输出单元，用于输出所述已分类报文。

12.根据权利要求11所述的装置，其特征在于，所述分类单元，还用于确定未分类报文；

则所述装置还包括：

判断单元，用于判断所述未分类报文的数量是否大于预设阈值；

处理单元，用于当所述未分类报文的数量小于预设阈值时，输出未分类报文；当所述未分类报文的数量大于预设阈值时，将所述未分类报文作为报文集样本，采用权利要求7～10中任意一项所述的未明协议特征库建立装置更新未明协议特征库。