CN102035698A - 基于决策树分类算法的http隧道检测方法 - Google Patents

Abstract

本发明公开了一种基于决策树分类算法的HTTP隧道检测方法，用于解决现有的基于传输层数据包统计特征分析的隧道检测方法稳定性差的技术问题。技术方案是使用HTTP数据流和隧道数据流对决策树分类模型进行训练，对训练集数量的要求比统计指印方法要低；其次相对于统计指印方法只能使用两个流量特征，决策树分类方法可以使用更多的特征来训练模型，得到的分类规则更加准确，稳定性更好；模型的训练过程相对简单，不牵涉图像指印，对内存的消耗较少；最后，决策树分类方法依据多个分支节点上的属性进行判断，而不依赖于某一个特定临界值，具有更好的稳定性。

Description

基于决策树分类算法的HTTP隧道检测方法

技术领域

本发明涉及一种HTTP隧道检测方法，特别是基于决策树分类算法的HTTP隧道检测方法。

背景技术

HTTP隧道的出现方便了用户使用网络，突破了很多网络访问限制。但也给黑客们提供了实施网络攻击的有力工具。目前流行的木马技术基本上都是使用隧道技术来穿透用户的安全防护设施，达到窃取用户私密信息的目的。因此，HTTP隧道检测技术是一种重要的网络信息安全技术。目前的HTTP隧道检测技术主要有：基于签名的检测、基于协议的检测、基于行为的检测等。随着HTTP隧道技术的不断发展，现有的检测技术越来越不能满足应用需求。

文献1“Web Tap：Detecting Covert Web Traffic，Proceedings of the 11th ACMConference on Computer and Communications Security(CCS)，Oct.2004.”公开了一种基于网络数据流分析的HTTP隧道检测方法，该方法采用过滤器来检测木马软件和间谍软件，这些软件都是通过HTTP隧道向外传输数据。过滤器检测机制主要基于对HTTP协议头的分析，包括协议头格式、请求到达时间间隔、请求包大小、上行带宽使用率等，然而随着隧道技术的不断发展，协议伪装技术也会越来越高，单纯使用应用层特征的检测方法难以实施有效的的检测。

文献2“Tunnel Hunter：Detecting Application-Layer Tunnels with Statistical Fingerprinting，Elsevier Computer Networks(COMNET)，Vol.53，No.1，pp.81-97，Jan.2009.”公开了一种基于传输层数据包统计特征分析的隧道检测方法，该方法采用包的大小、包的到达时间间隔、包的队列顺序等三个传输层特征建立了HTTP协议的统计指印。通过与指印对比计算出当前数据流与正常HTTP数据流的相异度，若相异度超过某个临界值，则判断该数据流是HTTP隧道流。这种统计指印算法在HTTP隧道检测方面存在一些不足，首先，算法的精确度很大程度上依赖于指印的建立，而指印的建立完全依赖于训练数据集，当训练集的数量不够充足时，无法保障算法的准确性；其次，模型的训练需要大量的数据，过程比较复杂，需要建立指印图像，对内存的消耗较大，训练效率不高；指印模型是二维图像，所以只能使用包大小和到达时间间隔两个流特征，有很大的局限性；最后，临界值的选取对精度影响较大，使用单一数值来进行判断，相当于根据一个属性值进行分类，稳定性不高。

发明内容

为了克服现有的基于传输层数据包统计特征分析的隧道检测方法稳定性差的不足，本发明提供一种基于决策树分类算法的HTTP隧道检测方法，使用HTTP数据流和隧道数据流对决策树分类模型进行训练，使用更多的特征来训练模型，模型的训练过程相对简单，不牵涉图像指印，对内存的消耗较少，依据多个分支节点上的属性进行判断，而不依赖于某一个特定临界值，可以实现包特征和流特征的有效融合，提高检测稳定性。

本发明解决其技术问题所采用的技术方案是：一种基于决策树分类算法的HTTP隧道检测方法，其特点是包括以下步骤：

(a)使用流量采集卡在网关出口捕获目的端口为80并且传输协议为TCP的上行网络流量，周期为一个星期，以PCAP文件格式保持；

(b)对捕获的网络流量进行数据包解析，根据包头信息中的源IP地址、源端口、传输协议、目的端口、目的IP地址进行网络流重组，源IP地址、源端口、传输协议、目的端口、目的IP地址中相同的数据包组成一个数据流；

(c)以数据流为单位提取统计特征，包括包大小、包到达时间间隔、流大小、流持续时间，加上协议类别标签；

(d)根据数据流的目的IP进行分类汇总，并按照降序排列；然后对前30个IP地址进行域名解析，并对属于知名网站的数据流进行标注，并认为访问这些知名网站的数据流是纯净的HTTP数据；为获取HTTP隧道数据，在流量采集过程中，在连接互联网的计算机上运行隧道软件——HTTP-Tunnel且只允许运行隧道软件，根据这些连接互联网的计算机IP地址从样本数据集中获取HTTP隧道数据；分别对采集的HTTP流量和HTTP隧道流量进行特征提取，生成两个数据集，分别记为Http_SET和Tunnel_SET；

(e)使用两个数据集Http_SET和Tunnel_SET训练HTTP隧道的检测模型；

分别从Http_SET和Tunnel_SET中选取60％的数据组成训练集合D，训练集中包含两种不同类别，HTTP数据和HTTP隧道数据；用C_i，D表示D中属于类别C_i的数据流构成的子集，|D|和|C_i，D|分别表示集合中的数据流的数目；用下面公式来计算信息熵的增益率：

$\mathrm{Info}\left(D\right)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{P}_i{\log }_2\left(P_i\right)---\left(1\right)$

式中，P_i表示集合D中任一数据流属于类别C_i的概率，用|C_i，D|/|D|来估计，Info(D)称为集合D的信息熵；

假设集合D中的数据流在属性A上有v种不同的取值{a₁，a₂，…，a_v}，则使用属性A作为分类节点时，将集合D划分成v个子集{D₁，D₂，…，D_v}；属性A达到纯净所需要的信息量用下面公式表示：

$\mathrm{In}{\mathrm{fo}}_A\left(D\right)=\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×\mathrm{Info}\left(D_j\right)---\left(2\right)$

用Gain(A)来表示属性A的信息增益：

Gain(A)＝Info(D)-Info_A(D)        (3)

用划分信息量来控制在节点上分支过多对算法的影响：

${\mathrm{SplitInfo}}_A\left(D\right)=-\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×{\log }_2\frac{\left|D_j\right|}{\left|D\right|}---\left(4\right)$

信息增益率(Gain Ratio)定义如下：

$\mathrm{GainRatio}\left(A\right)=\frac{\mathrm{Gain}\left(A\right)}{\mathrm{SplitInf}{o}_A\left(D\right)}---\left(5\right)$

选取增益率最大的特征作为根节点属性，然后针对根结点划分下来的若干子树求取子树的根结点，这样从上至下为每一个节点上选取合适的特征；

决策树构造完毕后，根据需要适当剪枝，完成对分类模型的训练；

(f)使用步骤(e)中剩余的40％的数据组成测试集，输入检测模型，模型会自动检测出数据流的类别，并与测试集中的实际类别进行比较，使用Overall accuracy、Recall和Precision三个指标来评价检测模型的精确度；

(1)Overall accuracy：所有类别中被正确分类的样本数占所有样本总数的百分比；

(2)Recall：对某一类别A，被正确分类为类别A的样本数占类别A真实所包含样本数的百分比；

(3)Precision：对某一类别A，被正确分类为类别A的样本数占所有被分类为A的样本数百分比。

本发明的有益效果是：由于使用HTTP数据流和隧道数据流对决策树分类模型进行训练，对训练集数量的要求比统计指印方法要低；其次相对于统计指印方法只能使用两个流量特征，决策树分类方法可以使用更多的特征来训练模型，得到的分类规则更加准确，稳定性更好；模型的训练过程相对简单，不牵涉图像指印，对内存的消耗较少；最后，决策树分类方法依据多个分支节点上的属性进行判断，而不依赖于某一个特定临界值，具有更好的稳定性。

下面结合附图和实施例对本发明作详细说明。

附图说明

附图是本发明基于决策树分类算法的HTTP隧道检测方法的流程图。

具体实施方式

1.流量捕获。

使用流量采集卡在网关出口捕获网络流量，只捕获目的端口为80并且传输协议为TCP的上行流量，周期为一个星期，以PCAP文件格式保持。

2.网络流重组及统计特征计算。

使用剑桥大学计算机实验室(http://www.cl.cam.ac.uk/research/srg/netos/brasil/)提供的程序完成对捕获的网络数据流进行数据包解析、流组装、流统计特征计算。

3.数据集筛选。

数据集由两部分组成：正常的HTTP数据和HTTP隧道数据。为获取正常的HTTP数据流，首先依据第二步中解析出的数据流的目的IP进行分类汇总，并按照降序排列。然后对前30个IP地址进行了域名解析，并对属于知名网站的数据流进行标注，比如新浪、搜狐、网易、新华网、腾讯网等等，可以认为访问这些知名网站的数据流是纯净的HTTP数据，这样就得到了HTTP数据流，记为Http_SET。为获取HTTP隧道数据，在流量采集过程中，在连接互联网的计算机上运行隧道软件——HTTP-Tunnel。而且这些计算机上只允许运行隧道软件，不能运行其他应用程序，保证HTTP隧道数据集的纯净。这样就可以根据这些连接互联网的计算机IP地址从样本数据集中获取HTTP隧道数据。为测试算法对木马类软件的检测效果，在流量采集过程中，在特定计算机上安装某种木马程序Huigezi，并通过网络实施远程控制和传输文件。这样就可以根据该计算机的IP地址从采集的流量中挑选Huigezi流量，这样我们就得到了由隧道软件和Huigezi产生的HTTP隧道数据，记为Tunnel_SET。

4.HTTP隧道检测模型的训练。

第三步中我们已经得到了两个数据集Http_SET和Tunnel_SET，我们使用这两个数据集来训练HTTP隧道的检测模型。模型的训练是生成分类规则的过程，规则是由上述的20个特征中的若干个特征组成。关键是选取哪些特征来组成分类规则。在决策树算法中，特征的选取是依据信息熵的增益率。

分别从Http_SET和Tunnel_SET中选取60％的数据组成训练集合D，训练集中包含两种不同类别，HTTP数据和HTTP隧道数据。用C_i，D表示D中属于类别C_i的数据流构成的子集，|D|和|C_i，D|分别表示集合中的数据流的数目。用下面公式来计算信息熵的增益率：

$\mathrm{Info}\left(D\right)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{P}_i{\log }_2\left(P_i\right)---\left(1\right)$

其中，P_i表示集合D中任一数据流属于类别C_i的概率，用|C_i，D|/|D|来估计，Info(D)称为集合D的信息熵。

假设集合D中的数据流在属性A上有v种不同的取值{a₁，a₂，…，a_v}，则使用属性A作为分类节点时，可将集合D划分成v个子集{D₁，D₂，…，D_v}。我们希望每个子集D_j都是纯净的，即每个子集中的数据流都属于同一类别，但往往并不纯净。那么对于属性A来说，还需要多少信息才能达到纯净，用下面公式表示：

$\mathrm{In}{\mathrm{fo}}_A\left(D\right)=\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×\mathrm{Info}\left(D_j\right)---\left(2\right)$

用Gain(A)来表示属性A的信息增益(Information Gain)：

Gain(A)＝Info(D)-Info_A(D)                (3)

用划分信息量(Split Information)来控制在节点上分支过多对算法的影响：

${\mathrm{SplitInfo}}_A\left(D\right)=-\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×{\log }_2\frac{\left|D_j\right|}{\left|D\right|}---\left(4\right)$

信息增益率(Gain Ratio)定义如下：

$\mathrm{GainRatio}\left(A\right)=\frac{\mathrm{Gain}\left(A\right)}{\mathrm{SplitInf}{o}_A\left(D\right)}---\left(5\right)$

通过上述五个公式计算出每个特征的信息增益率，并选取增益率最大的特征作为根节点属性，然后针对根结点划分下来的若干子树分别使用上述方法求取子树的根结点，这样从上至下为每一个节点上选取合适的特征。

决策树构造完毕后，可根据需要适当剪枝，这样分类模型就训练完毕。

5.隧道检测模型的测试。

使用上一步中剩余的40％的数据组成测试集，输入检测模型，模型将会自动检测出数据流的类别，并与测试集中的实际类别进行比较，使用Overall accuracy、Recall和Precision三个指标来评价检测模型的精确度。

(1)Overall accuracy：所有类别中被正确分类的样本数占所有样本总数的百分比。

(2)Recall：对某一类别A，被正确分类为类别A的样本数占类别A真实所包含样本数的百分比。

(3)Precision：对某一类别A，被正确分类为类别A的样本数占所有被分类为A的样本数百分比。

最终的实验结果表明：

(1)当训练集数量充分时，统计指印算法和决策树算法都有很高的检测精度，都在95％以上。但是，当训练集数据不够充分时，决策树算法的检测精度明显高于统计指印算法。

(2)在训练效率和检测效率方面，通过实验对比，决策树算法所占用的内存资源和时间明显较少，优于统计指印算法。

Claims (1)

1.一种基于决策树分类算法的HTTP隧道检测方法，其特征在于包括下述步骤：

(a)使用流量采集卡在网关出口捕获目的端口为80并且传输协议为TCP的上行网络流量，周期为一个星期，以PCAP文件格式保持；

(b)对捕获的网络流量进行数据包解析，根据包头信息中的源IP地址、源端口、传输协议、目的端口、目的IP地址进行网络流重组，源IP地址、源端口、传输协议、目的端口、目的IP地址中相同的数据包组成一个数据流；

(c)以数据流为单位提取统计特征，包括包大小、包到达时间间隔、流大小、流持续时间，加上协议类别标签；

(d)根据数据流的目的IP进行分类汇总，并按照降序排列；然后对前30个IP地址进行域名解析，并对属于知名网站的数据流进行标注，并认为访问这些知名网站的数据流是纯净的HTTP数据；为获取HTTP隧道数据，在流量采集过程中，在连接互联网的计算机上运行隧道软件——HTTP-Tunnel且只允许运行隧道软件，根据这些连接互联网的计算机IP地址从样本数据集中获取HTTP隧道数据；分别对采集的HTTP流量和HTTP隧道流量进行特征提取，生成两个数据集，分别记为Http_SET和Tunnel_SET；

(e)使用两个数据集Http_SET和Tunnel_SET训练HTTP隧道的检测模型；

分别从Http_SET和Tunnel_SET中选取60％的数据组成训练集合D，训练集中包含两种不同类别，HTTP数据和HTTP隧道数据；用C_i，D表示D中属于类别C_i的数据流构成的子集，|D|和|C_i，D|分别表示集合中的数据流的数目；用下面公式来计算信息熵的增益率：

$\mathrm{Info}\left(D\right)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{P}_i{\log }_2\left(P_i\right)---\left(1\right)$

式中，P_i表示集合D中任一数据流属于类别C_i的概率，用|C_i，D|/|D|来估计，Info(D)称为集合D的信息熵；

假设集合D中的数据流在属性A上有v种不同的取值{a₁，a₂，…，a_v}，则使用属性A作为分类节点时，将集合D划分成v个子集{D₁，D₂，…，D_v}；属性A达到纯净所需要的信息量用下面公式表示：

${\mathrm{Info}}_A\left(D\right)=\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×\mathrm{Info}\left(D_j\right)---\left(2\right)$

用Gain(A)来表示属性A的信息增益：

Gain(A)＝Info(D)-Info_A(D)            (3)

用划分信息量来控制在节点上分支过多对算法的影响：

${\mathrm{SplitInfo}}_A\left(D\right)=-\underset{j=1}{\overset{v}{\mathrm{\Σ}}}\frac{\left|D_j\right|}{\left|D\right|}\×{\log }_2\frac{\left|D_j\right|}{\left|D\right|}---\left(4\right)$

信息增益率(Gain Ratio)定义如下：

$\mathrm{GainRatio}\left(A\right)=\frac{\mathrm{Gain}\left(A\right)}{\mathrm{SplitInf}{o}_A\left(D\right)}---\left(5\right)$

选取增益率最大的特征作为根节点属性，然后针对根结点划分下来的若干子树求取子树的根结点，这样从上至下为每一个节点上选取合适的特征；

决策树构造完毕后，根据需要适当剪枝，完成对分类模型的训练；

(f)使用步骤(e)中剩余的40％的数据组成测试集，输入检测模型，模型会自动检测出数据流的类别，并与测试集中的实际类别进行比较，使用Overall accuracy、Recall和Precision三个指标来评价检测模型的精确度；

(1)Overall accuracy：所有类别中被正确分类的样本数占所有样本总数的百分比；

(2)Recall：对某一类别A，被正确分类为类别A的样本数占类别A真实所包含样本数的百分比；

(3)Precision：对某一类别A，被正确分类为类别A的样本数占所有被分类为A的样本数百分比。

Images