CN108846275A - 基于ripper算法的未知操作系统类型识别方法 - Google Patents

Abstract

本发明提供的是一种基于RIPPER算法的未知操作系统类型识别方法。(1)数据集的收集；(2)指纹数据处理；(3)指纹的特征预处理；(4)RIPPER模型的学习与训练；(5)未知操作系统识别及验证。本发明的识别方法克服了SVM在未知指纹识别时，如果指纹库中的特征较多，经向量化后的指纹数据维数会很高，导致建模时间增加以及分类器效率降低，从而操作系统指纹识别的准确率和速率下降。以及决策树在未知指纹识别时，建立依赖于树的生成，树的建立过程是对整个空间的递归划分、建立局部模型的过程，往往比较耗时，导致未知操作系统识别的效率会降低。实现了在未知操作系统类型识别时准确率和效率上的提高。

Description

基于RIPPER算法的未知操作系统类型识别方法

技术领域

本发明涉及的是一种操作系统类型识别方法。

背景技术

随着21世纪到来，互联网行业如雨后春笋般出现应用于人们生活生产的各个行业，其覆盖的广泛性远超预期，随着网络的发展壮大，方便了人们的资源共享和通信的同时，网络安全问题随之而来，无论是电子商务中人们的财产安全，聊天通信的的隐私保护，还是办公中的文件保护，甚至国家安全都与网络安全息息相关。计算机遍布各个领域，有计算机构成的网络信息空间已经成为人们生活中不可或缺的部分，正因为人们对网络的需求增加，随之而来的是网络安全的重要性。网络信息安全问题在我国以及全球显著的增加，并且有持续增长的趋势。如果不加以控制和治理将会威胁到人民和国家的利益，无论是在网络安全的攻击还是防护中，对信息的采集和分类都至关重要，这其远程主机的系统类型通常和黑客们的首要出发点，因为某些类型的操作系统有着众所周知的漏洞可以被利用。因此绝大多数的漏洞都是从识别操作系统的类型出发。而网络安全的防护同样需要对主机操作系统类型的识别，并进行伪造等防护来对用户进行保护。操作系统的类型及版本在其中扮演着举足轻重的地位。因此准确，快速的操作系统识别的研究对网络安全有着重大意义。

现有的操作系统类型识别方法中存在许多的局限性。首先，大多数为主动操作系统识别方式，依赖于主动探测所得到的数据包，主要的缺点是容易被监测工具检测发现，致使探测结果不准确。其次，当前的主机操作系统识别技术中，无论是主动还是被动的操作系统识别技术，都是获取识别操作系统类型相关的属性生成操作系统指纹，并将待识别的操作系统指纹与指纹库中指纹对比。当待识别的操作系统指纹与指纹库中指纹完全匹配时，给出具体的操作系统类型和版本。当指纹在指纹库中不存在时，即没有精确匹配，系统给出的识别结果将是未知操作系统类型。最后，现有的基于决策树和SVM的未知操作系统指纹识别技术存在缺点和不足。在基于SVM的未知操作系统指纹识别技术中，如果指纹库中的特征较多，经向量化后的指纹数据维数会很高。当数据样本数量较大时，需构建二值分类器的数量会增加，导致建模时间增加以及分类器效率降低，从而操作系统指纹识别的准确率和速率下降。在基于决策树的未知操作系统指纹识别技术中，决策树规则的建立依赖于树的生成，树的建立过程是对整个空间的递归划分、建立局部模型的过程，往往比较耗时，这种缺点导致未知操作系统识别的效率会降低。

发明内容

本发明的目的在于提供一种识别准确率和识别效率更好的基于RIPPER算法的未知操作系统类型识别方法。

本发明的目的是这样实现的：

(1)数据集的收集：获取p0f指纹库加入到数据集，并收集网络流量数据来丰富和完善数据集；

(2)指纹数据处理：通过收集的大量网络流量数据，利用基于libpacp的定制工具对数据包进行处理，获取包头中对操作系统是被有关的字段和信息，生成p0f格式指纹，和p0f指纹库一起作为训练和学习的数据集；

(3)指纹的特征预处理：分析p0f指纹各个属性的取值范围，将各个属性统一用数值进行表示，并将其生成akff格式供Weka进行分类训练；

(4)RIPPER模型的学习与训练：将已经预处理的数据集输入RIPPER进行训练，生成可识别未知操作系统类型的RIPPER模型；

(5)未知操作系统识别及验证：新的未知操作系统指纹输入分类器，给出未知操作系统类型的预测。

本发明提供了一种在识别准确率和识别效率上更好的未知操作系统指纹识别方法。本发明提出的基于RIPPER算法的未知操作系统指纹识别方法，是针对当前操作系统识别都是基于指纹库进行识别，即获取识别操作系统类型相关的属性生成操作系统指纹，并将待识别的操作系统指纹与指纹库中指纹对比。当待识别的操作系统指纹与指纹库中指纹完全匹配时，给出具体的操作系统类型和版本。当指纹在指纹库中不存在时，即没有精确匹配，系统给出的识别结果将是未知操作系统类型的缺点。以及已有的机器学习方法对未知指纹识别准确率和速率有待提升的问题。采用了基于RIPPER算法的未知操作系统指纹识别方法，来完成对未知操作系统类型的识别。这种识别方法克服了SVM在未知指纹识别时，如果指纹库中的特征较多，经向量化后的指纹数据维数会很高，导致建模时间增加以及分类器效率降低，从而操作系统指纹识别的准确率和速率下降。以及决策树在未知指纹识别时，建立依赖于树的生成，树的建立过程是对整个空间的递归划分、建立局部模型的过程，往往比较耗时，导致未知操作系统识别的效率会降低。实现了在未知操作系统类型识别时准确率和效率上的提高。

附图说明

图1是基于RIPPER算法的未知操作系统识别模型流程图。

图2是基于网络流量的操作系统指纹生成流程图。

图3是RIPPER分类器的学习与训练过程。

图4是SVM,RIPPER,C45未知操作系统识别性能对比。

具体实施方式

下面举例对本发明做更详细的描述。

1)数据集的收集：为了对未知操作系统类型识别进行训练和识别,获取当前较新版本的p0f指纹库加入到数据集，并收集网络流量数据，来丰富和完善数据集。主要提取了p0f指纹库中指纹的十个方面特征，TTL,WIN,MSS,WS,S,N,D,T,F,LEN。由于为了提高识别的准确率和效率，我们需要大量的数据，而不仅限于p0f存在中的操作系统指纹。因此在基于p0f的指纹特征库基础上，收集大量的网络流量的指纹也添加到了指纹特征库中。构建大量的操作系统指纹，生成类似于p0f格式的指纹类型，构建自己收集的操作系统指纹数据集进行训练。

2)指纹数据处理：该流程主要基于libpcap，它是一个易于阅读和从网络流量中选择的库，它有各种流量数据的数据结构，可以读出数据包和段头，解析出所有字段，使用此库，读取头数据，解析与操作系统指纹相关的字段，附图2进行详细的解析。

(1)读取pcap文件：补获在线的网络数据，生成pcap格式的文件作为指纹生成的输入。

(2)设置过滤规则：因为本发明的操作系统指纹特征基于TCP/IP协议栈，只需分析TCP，IP字段即可，UA的获取基于HTTP协议，HTTP协议也是基于TCP协议，所以将过滤器规则设置为只处理TCP数据包，丢弃其他传输层数据包。

(3)处理含SYN标识数据包：基于libpcap分析与P0F指纹相关的字段，判断SYN标识是否为1，如果为0则转(4)，则解析P0F指纹相关字段，并且根据字段生成P0F格式指纹。

(4)处理HTTP数据包：判断是否是HTTP数据包如果是获取UA操作系统标识字段，不是转(5)。

(5)循环读取数据包：判断所有数据包是处理完毕，读取完毕则结束处理，未读取完毕则循环读取数据包进行处理。

(6)基于源IP的哈希映射：将获取的操作系统指纹和UA操作系统标识字段根据源IP进行哈希映射，建立起操作系统类型和操作系统指纹的关系。生成操作系统指纹用于实验。

3)指纹的特征预处理：分析p0f指纹各个属性的取值范围，将各个属性统一用数值进行表示，并将其生成akff格式供Weka进行分类训练。主要提取了p0f指纹库中指纹的十个方面特征，TTL,WIN,MSS,WS,S,N,D,T,F,LEN。下面分别对这些特征介绍：

(1)报文生存时间(TTL)：记录数据包在网络中存活时间，通常并不是代表真正存活时间，通常是经过路由器的跳数，通常不同操作系统的初始值也不同，没经过路由器该数值都会减一。当数值变为0时意味着数据包已经失效，会被某一主机丢弃。

(2)窗口大小(WIN)：通常用于流量控制，可能随时变化，标识内核缓冲区可接受或发送数据的大小。

(3)最大报文长度(MSS):TCP连接时协商选项，通常表示双方主机可接受数据包大小。

(4)窗口扩大因子(WS):在TCP连接时，标识窗口大小的扩容倍数。用来增加传输两端内核缓冲区大小。

(5)选择性确认允许(SACK):该选项往往通知传输的对端，希望对含有SACK选项标识的数据包进行接收。

(6)填充标识(NOP):通常对选项部分进行填充，无实际意义以四字节为单位。

(7)分片标志位(DF)：标识是否分片的字段。该标志位为0时表示允许分片，相反其为1的时候，不允许分片。

(8)TCP标识字段(S)：该字段主要对数据包的属性进行标识，包括SYN，ACK等六种标识。其中SYN标识通常是TCP连接过程中，三次握手的前两次握手数据包会标识字段，表示连接请求。ACK标识通常是该标识存在于大多数的TCP数据包中，0通常表示请求，1通常表示应答。

(9)时间戳选项(TS)：该选项用于记录报文的发送的到达时间，方便使用时间时提取该字段。

(10)头长度字段(LEN)：IP头长度通常四位大小，使用该字段的主要原因是IP选项的不固定，导致IP头长度的变化，因此需要IP头长度字段标识IP头边界。值得注意的是该字段并非以字节为单位，而是以四字节为单位，因为IP头固定20字节，所以该字段的取值范围为4到15，IP选项最大40字节。

以上属性在不同操作系统中识别都存在差异，因此，本发明在构建分类器的过程中，选择以上十种属性作为操作系统的识别特征。由于使用Weka作实验环境，为了能够使用Weka，必须转化被称为Attribute-Relation File Format(ARFF)的数据格式。因此为了能使用新生成P0F格式的指纹库作为实验数据，需确定各项的属性，根据各项属性的特征将TTL，WIN，MSS，WS，S，N，D，T，F，LEN十项特征设置为numeric类型即数值类型。具体转化规则如下：将MSS，TTL，WIN，LEN，WS五项的具体大小的设置为其数值，S，N，T这三项分别用1代表该项出现，用0代表该项未出现，D项分别用0、1来标识该属性是否出现以及分片。F用1标识SYN包，0标识SYN+ACK包。

4)RIPPER模型的学习与训练：将已经预处理的数据集输入RIPPER进行训练，生成可识别未知操作系统类型的RIPPER模型。附图3主要分为以下几个步骤：

(1)准备阶段

这个阶段首先计算数据集中的每种操作系统类型的先验概率。由于RIPPER算法本身是二分类算法，而操作系统类型的数据集是一个多分类的数据集，所以对于多分类的数据集需要根据先验概率的降序转换为二分类问题，每次对先验概率较低的类别建立规则。

(2)生成规则阶段

这个阶段的输入是操作系统指纹的数据集D，正例操作系统类型C与其先验概率p，注意这里的数据集D是上一次生成规则阶段筛除部分数据后的数据集。首先需要计算的是在默认规则下的描述长度，这个描述长度将作为一个参考值使用，算法生成的规则不应该比默认规则有更长的描述长度。在这个阶段中，将生成若干条规则直到无法继续，这些规则的后件都是操作系统类型C，每一条规则的生成都经历增长和剪枝两个阶段，增长阶段从空规则开始，每次增加一个前件；剪枝阶段则从最后一个被添加的前件逆序往前剪枝。

(3)优化阶段

此时针对阶段2生成的规则库进行优化，通过构造备选规则，算法对规则库里的每条操作系统规则都进行优化。类似于阶段2，此阶段使用的也是操作系统指纹数据集D，且每优化一条规则都需要将最终规则覆盖的实例从D中删去然后优化下一条规则直到所有规则都被优化。规则优化的顺序同生成阶段规则添加的顺序。

5)未知操作系统识别及验证：分类得未知操作系统识别模型后，新的操作系统样本数据利用这个分类模型进行分类，预测未知操作系统类型，最后生成分类结果。其实验结果如附图4，为使用SVM,C45决策树和RIPPER的实验结果对比，由实验结果可以看出，不同算法的精度可以比较，算法的执行时间明显不同。从表中可以看到，SVM的建模时间最久，达到了其他算法的数十倍之多，这表明SVM具有非常显著的性能劣势，并且其准确率比其他其他两种算法要低许多，并且在当前数据集较大时，SVM的建模速度远大于另外两种算法，计算效率很差。C45决策树算法的建模时间要比SVM少的多，并且它的识别准确率相对于SVM也有了一些提升。这是因为C45决策树算法在处理大规模数据时，往往不需要以来样本的先验概率，并且能够很有效的解决样本变化分布差异过大所带来的不好的影响，在处理识别时仅仅是属性值的简单对比，要比SVM处理简单一些。从表中可以看出RIPPER算法无论是在建模速度上还是识别的准确率方面都是三者中最好的，从而证明了在处理未知操作系统识别方面，RIPPER算法相比较与SVM和C45决策树更具有优势更有优势。

Claims (1)

1.一种基于RIPPER算法的未知操作系统类型识别方法，其特征是：

(1)数据集的收集：获取p0f指纹库加入到数据集，并收集网络流量数据来丰富和完善数据集；

(2)指纹数据处理：通过收集的大量网络流量数据，利用基于libpacp的定制工具对数据包进行处理，获取包头中对操作系统是被有关的字段和信息，生成p0f格式指纹，和p0f指纹库一起作为训练和学习的数据集；

(3)指纹的特征预处理：分析p0f指纹各个属性的取值范围，将各个属性统一用数值进行表示，并将其生成akff格式供Weka进行分类训练；

(4)RIPPER模型的学习与训练：将已经预处理的数据集输入RIPPER进行训练，生成可识别未知操作系统类型的RIPPER模型；

(5)未知操作系统识别及验证：新的未知操作系统指纹输入分类器，给出未知操作系统类型的预测。