CN105553998B

CN105553998B - 一种网络攻击异常检测方法

Info

Publication number: CN105553998B
Application number: CN201510976440.5A
Authority: CN
Inventors: 刘方; 饶志宏; 徐锐
Original assignee: CETC 30 Research Institute
Current assignee: CETC 30 Research Institute
Priority date: 2015-12-23
Filing date: 2015-12-23
Publication date: 2019-02-01
Anticipated expiration: 2035-12-23
Also published as: CN105553998A

Abstract

本发明公开了一种网络攻击异常检测方法，涉及信息安全技术领域，本发明技术要点：步骤1：在网络流量汇聚节点部署流量数据采集设备；步骤2：从采集到的流量数据中提取网络行为特征值；步骤3：对网络行为特征值进行降维及标准化；步骤4：确定正常的网络行为特征值，基于正常的网络行为特征值的集合建立正常行为模型；步骤5：基于正常行为模型对其他网络行为特征值进行检测，判断是否出现异常网络行为；在进行异常网络行为检测的同时，根据新的正常网络行为特征值对所述正常行为模型进行更新。

Description

一种网络攻击异常检测方法

技术领域

本发明涉及信息安全技术领域，尤其是一种基于行为特征的网络异常行为检测方法。

背景技术

在互联网迅速普及当中，人们在感受网络所带来的便利的同时，也面临着各种各样的进攻和威胁：机密泄漏、数据丢失、网络滥用、身份冒用、非法入侵等。网络与系统存在的漏洞给攻击者带来了可乘之机，随着计算机技术的不断发展，新的攻击层出不穷，给政府、银行甚至军事系统带来了极大的损失。据最新的一项统计表明，在美国因数据泄露所引发的安全事故平均带来的经济损失达到700多万美元。网络空间安全已上升到国家安全甚至是军事安全层面，最大程度地保护网络和信息系统的安全已成为当今一个非常重要非常迫切的任务。

在网络入侵检测中，行为建模与异常检测是重要的技术手段。异常检测建立系统、用户、网络或应用等正常行为模型，当待检测的行为在一定程度上偏离该模型，则认为存在异常。在网络流量监测中，行为建模与异常检测不仅可以及时发现网络攻击行为，还能探测到非法行为，如超大文件的P2P传送。同时，与误用检测相比，异常检测不仅能检测出已知的网络攻击行为，还能探测到未知的或变种的网络攻击。

在互联网应用中，基于web的应用不断增长。与此同时，与web有关的漏洞也与日俱增。Cenzic公司最新的调查报告显示，在2010年大约50％的网络漏洞来自于Web，73％的网络管理员承认曾经遭受过Web攻击。拒绝服务攻击(Dos)、网络扫描、网络蠕虫等大型攻击给关键系统及整个网络的正常使用带来极大的危害。因此，基于Web的攻击检测变得尤其重要。同时，大数据时代的到来，我们面临的是高速的并且不断进化的海量数据流，如何从海里数据流中找到网络攻击行为的蛛丝马迹也是一个难题。

在异常检测方面，早期的异常检测主要是通过监听系统日志，如CPU使用率、用户连接时间、访问的文件等，来实现对系统和用户行为的建模。Schonlau等人使用用户的命令序列来检测内部的伪装攻击行为并发布了他们的数据。近10年来很多异常检测方法都已用于该命令序列数据，如Oka等人使用EigenCo-Occurrence Matrix(ECM)检测内部攻击。中科院翟起滨教授带领的团队里面Markov模型进行异常行为检测。北京邮电大学的王伟教授带领的团队基于命令序列数据成果应用了非负矩阵分解、主成分分析等方法来检测攻击，并取得了较好的检测效果。同时，对网络行为建模以检测网络异常也得到了广泛的应用。Heberlein等人第一次直接将网络数据包作为信息源检测入侵。Lee等人从DARPA提供的网络数据中提取了41个特征并建立网络入侵检测模型，这些特征集被发布为KDD’1999CUP数据，并一度成为了网络入侵检测的研究中应用最广的标准数据集之一。国内中科院李洋等人使用基于直推信度机的最近邻方法在KDD’1999数据上进行网络入侵检测。南京邮电大学的徐冲等人集成改进的BP神经网络算法和支持向量机并将其应用于KDD’1999网络数据以检测入侵。

在对Web攻击检测方面，2003年Kruegel等人首次使用HTTP数据流来检测基于Web的攻击。他们通过分析客户端的查询及其参数，使用6种不同的统计方法来检测潜在的异常或攻击行为。Ingham等人收集了一些HTTP攻击，并基于Kruegel工作的基础上比较了几种Web攻击检测方法。Song等人基于n-gram方法，利用混合Markov模型来识别Web攻击。

同时，基于IP网络流量的异常检测是今年来的一个研究热点。Barford等人通过IP流量分析了四种不同的网络异常。Lakhina等人使用PCA检测基于Netflow的网络流量异常行为。Ringberg等人和Brauckhoff等人的研究表明PCA在检测异常时对参数设置较为敏感，会带来检测的不稳定性。基于此问题，Brauckhoff等人设计了一种扩展的PCA算法以试图解决这个问题。北京大学和中科院的李臻等人提出了一种在网络数据链中发现大业务流的识别方法。西安交通大学管晓宏等人提出了一种检测网络流量特征变化的方法。

在自适应异常检测方面，Cretu等人尝试在训练环节让检测模型随着被保护对象的行为变化而自适应地改变。Rehak等人通过不断插入新的网络流量对检测模型进行优化以实现实时网络监测。Robertson等人试图解决异常检测中训练数据严重不足的问题，通过提取HTTP请求中的参数值，在较大数据集上通过训练建立一个检测模型。

近年来，在基于Web攻击的异常检测方面已取得了明显的进展，但在实际应用中还存在以下一些问题：

1.针对具体的攻击，目前已有的方法存在较高的误报率，过多的误报降低了检测系统的可信度，这在一定程度上导致了这些检测方法的不可用性。

2.在大数据时代，面临的都是高速的海量数据流，现有的方法在快速处理高维海量数据流方面还存在问题。

3.在正常行为建模方面，针对处理的数据是高速流动的，检测主体的行为也是多样变化的，现有的很多检测方法采用离线标定、离线学习的方式进行建模，很难适应动态变化的网络行为。

发明内容

为了克服上述现有方法的不足，本发明提供了一种Web攻击异常检测方法，通过在网络层和应用层建立正常网络行为模型，在应用层上主要监听服务器上的80端口并以HTTP流量作为信息输入，而在网络层上主要监听IP流量并以路由器收集到的Netflow流量作为信息输入，利用大数据技术对Web异常行为进行挖掘。结合两个层面的检测结果进行综合分析，可有效降低对Web攻击检测的误报率和漏报率。

本发明所提供的一种Web攻击异常检测方法，包含以下步骤：

步骤1：在网络流量汇聚节点部署流量数据采集设备；

步骤2：从采集到的流量数据中提取网络行为特征值；

步骤3：对网络行为特征值进行降维及标准化；

步骤4：确定正常的网络行为特征值，基于正常的网络行为特征值的集合建立正常行为模型；

步骤5：基于正常行为模型对其他网络行为特征值进行检测，判断是否出现异常网络行为；

在进行异常网络行为检测的同时，根据新的正常网络行为特征值对所述正常行为模型进行更新。

优选地，步骤1中，流量数据采集设备包括应用层流量数据采集设备及网络层流量数据采集设备；

相应的，步骤4：分别确定正常的应用层网络行为特征值及正常的网络层网络行为特征值，基于正常的应用层网络行为特征值的集合建立应用层正常行为模型；基于正常的网络层网络行为特征值的集合建立网络层正常行为模型；

步骤5：基于应用层正常行为模型对其他应用层网络行为特征值进行检测，判断是否出现异常网络行为；基于网络层正常行为模型对其他网络层网络行为特征值进行检测，判断是否出现异常网络行为；

若应用层与网络层均检测到异常网络行为时则断定该事件为异常并告警；如果应用层与网络层中只有一个检测到异常网络行为时则将该事件标定为可疑事件。

优选地，对于从应用层流量数据提取的网络行为特征值：步骤4确定正常的应用层网络行为特征值的集合，利用K-means聚类算法将集合中的特征值分为若干聚类，并确定这些聚类的中心。

进一步，逐一计算其他的应用层网络行为特征值与所述各个聚类中心的距离，当该应用层网络行为特征值到各个聚类中心的最小值大于设定的阈值，则认为该应用层网络行为特征值为异常。

进一步，进行异常网络行为检测的同时，将确定为正常的新的应用层网络行为特征值加入到原有的应用层正常网络行为特征值集合中，利用K-means聚类算法将应用层正常网络行为特征值重新分为若干聚类，并确定这些聚类的中心从而得到更新后的应用层正常行为模型。

进一步，对于从网络层流量数据提取的网络行为特征值：步骤4确定正常的网络层网络行为特征值的集合，计算集合中样本分布的均值[e₁,e₂,...e_k]，k网络层网络行为特征值的维度。

进一步，逐一计算其他的网络层网络行为特征值[d₁,d₂,...d_k]是否与所述样本分布的均值[e₁,e₂,...e_k]同分布：计算判断χ²是否大于χ²(α)，α为预设的置信水平，若大于则认为该网络层网络行为特征值为异常。

进一步，进行异常网络行为检测的同时，将确定为正常的新的网络层网络行为特征值加入到原有的网络层正常网络行为特征值集合中，重新计算该集合的样本分布均值，从而得到更新后的网络层正常行为模型。

用于采用了上述技术手段，本发明的有益效果是：

1.误报率低

本发明通过采集应用层HTTP流量和网络层Netflow数据，结合两个层面的检测结果进行综合分析，可有效降低对web攻击检测的误报率。

2.具备自适应能力

本发明基于动态聚类实现正常行为模型的构建和自适应调整，能够及时发现网络行为的变化而自动对检测模型进行重建，并根据检测性能自动调整模型参数。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明提供的一种Web攻击异常检测方法实施流程图。

图2为本发明提供的一种Web攻击异常检测方法中的流量数据采集设备的部署图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本发明提供的一种web攻击异常检测方法，包括以下步骤：

步骤1：在网络流量汇聚节点部署流量数据采集设备；

步骤2：从采集到的流量数据中提取网络行为特征值；

步骤3：对网络行为特征值进行降维及标准化；

如图1所示，在一个具体实施例中，步骤1中的流量数据采集设备包括应用层流量数据采集设备及网络层流量数据采集设备。

相应的，步骤4进一步包括：分别确定正常的应用层网络行为特征值及正常的网络层网络行为特征值，基于正常的应用层网络行为特征值的集合建立应用层正常行为模型；基于正常的网络层网络行为特征值的集合建立网络层正常行为模型。

步骤5进一步包括：基于应用层正常行为模型对其他应用层网络行为特征值进行检测，判断是否出现异常网络行为；基于网络层正常行为模型对其他网络层网络行为特征值进行检测，判断是否出现异常网络行为。

现在详细介绍各个步骤的实施细节。

其中，步骤1的实施细节包括：

如图2，在网络流量的汇聚节点部署采集设备为其异常检测分析提供原始网络流量数据。根据部署地点不同，分为应用层及网络层两种类型的流量采集设备，即HTTP流量采集探针和Netflow流量采集设备。Netflow流量采集设备部署在路由器旁，通过镜像口抓取网络包来采集跨网段的流量数据。HTTP流量采集探针部署在Web服务器上收集HTTP流量。

步骤2的实施细节：

针对Web攻击的异常检测，本发明采用在应用层和网络层数据流分别提取异常行为特征，主要包括：

在应用层上提取的HTTP行为特征包括但不限于：耗时、数据包数目、请求方法Request-URI、Request-URI特征值、Content-Length、状态代码、行为类别、行为频度等特征。

在网络层上提取的行为特征包括但不限于数据包的个数、字节的个数、端口，IP地址和TCP标记的熵以及直方图、每个流(flow)持续的时间和包大小的直方图等特征。

步骤3的实施细节

为了消除数据量纲和量级的影响，在进行数据降维前进行标准化。针对一部分数值型数据，如HTTP数据流的耗时、数据包数目、行为频度等以及Netflow数据流中的数据包个数、字节个数、每个流(flow)持续的时间等，采用最大值-最小值标准化方法进行标准化；而对于一部分二值数据，如行为类别等直接采用0或1表示；对于仅表示属性类别的数据，如请求方法、状态代码等，首先对所有状态进行编号，然后再采用最大值-最小值标准化方法进行标准化。

针对一条HTTP数据记录中包含的属性项较多且有些属性只是其标识作用，为了提高数据处理效率，需要对数据集进行降维，即从特征集中提取出最关键的有利于检测的特征，删除对检测结果影响不大的特征。

为了提高检测的准确性，在其他实施例中，在对数据标准化之后，对数据进行主成分分析得到各主成分分量的特征值、贡献率和累计贡献率，从属性项中提取出一些贡献率较大的综合因子，并根据贡献率大小对属性项设置权重。

步骤4的实施细节

首先通过现有的较成熟的异常检测算法对前述步骤提取到的网络行为特征值进行检测，并经过人工标定获取一个精确标定的小的正常网络行为特征值的数据集合，分别为应用层数据集和网络层数据集。

针对应用层数据集的正常行为建模，本实施例中利用K-means聚类算法获取数据集的k个聚类及其中心，这k个聚类作为HTTP行为的正常行为分类。

针对网络层数据集，计算数据集中各个样本特征值向量中相同位置元素的均值，将均值作为样本分布均值向量的同位置的元素，得到均值向量[e₁,e₂,…,e_k]，将其作为总体分布的估计，k为特征值的维度。如将各个样本特征值向量中的第1个元素进行求均值，将该均值作为样本分布均值向量的第1个元素，依次类推。

考虑到正常的网络行为会随着时间的变化而发生变化，因此需要对正常的网络行为模型进行更新，以提高检测准确度。

本实施例中，针对应用层正常网络行为模型是这样更新的。

对新确定的正常的应用层网络行为特征值进行距离度量。本实施例采用欧几里德公式对特征值进行距离度量，其计算公式如下：

式中，[w₁,w₂,...,w_m]为权值，[x_i1,x_i2,...,x_im]为第i个聚类的中心，[x_j1,x_j2,...,x_jm]为新的正常的应用层网络行为特征值，m为应用层网络行为特征值的维度。

按照欧几里德距离公式，计算该特征值与所有聚类的聚类中心的距离，记录距离最小的聚类C及其距离d_Min；若d_Min大于预设的聚类半径，则新创建一个聚类C’，若d_Min小于预设的聚类半径，则将该特征值划分到聚类C中，并重新计算C的聚类中心。

针对网络层网络行为模型是这样更新的。

将确定为正常的新的网络层网络行为特征值加入到原有的网络层正常网络行为特征值集合中，重新计算该集合的样本分布均值，从而得到更新后的网络层正常行为模型。

正常的新的网络行为特征值可以是人工判决得到，也可以采用已有的成熟的检测算法判决得到，也可以是正常行为模型本身检测得到的。

步骤5的实施细节

在异常检测阶段，针对应用层网络行为特征值，计算其与应用层正常行为模型中所有聚类中心的距离，如果该特征值与各个聚类中心的距离值中的最小值都大于预先设定的阈值，则判断该事件为异常。

同时，针对网络层网络行为特征值，使用Pearson方检验计算χ²值判断该特征值[d₁,d₂,…,d_k]是否与样本均值[e₁,e₂,…,e_k]同分布：计算判断在给定置信水平α的前提下，χ是否大于χ²(α)，若大于则说明存在异常。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种网络攻击异常检测方法，其特征在于，包括：

步骤1：在网络流量汇聚节点部署流量数据采集设备；流量数据采集设备包括应用层流量数据采集设备及网络层流量数据采集设备；

步骤2：从采集到的流量数据中提取网络行为特征值；

步骤3：对网络行为特征值降维及标准化；

步骤4：分别确定正常的应用层网络行为特征值及正常的网络层网络行为特征值，基于正常的应用层网络行为特征值的集合建立应用层正常行为模型；基于正常的网络层网络行为特征值的集合建立网络层正常行为模型；

若应用层与网络层均检测到异常网络行为时则断定相应事件为异常并告警；如果应用层与网络层中只有一个检测到异常网络行为时则将相应事件标定为可疑事件；

2.根据权利要求1所述的一种网络攻击异常检测方法，其特征在于，对于从应用层流量数据提取的网络行为特征值：步骤4确定正常的应用层网络行为特征值的集合，利用K-means聚类算法将集合中的特征值分为若干聚类，并确定这些聚类的中心。

3.根据权利要求2所述的一种网络攻击异常检测方法，其特征在于，逐一计算待检测的应用层网络行为特征值与各个聚类中心的距离，当该应用层网络行为特征值到各个聚类中心的最小值大于设定的阈值，则认为该应用层网络行为特征值为异常；否则为正常的网络行为。

4.根据权利要求2或3所述的一种网络攻击异常检测方法，其特征在于，进行异常网络行为检测的同时，将确定为正常的新的应用层网络行为特征值加入到原有的应用层正常网络行为特征值集合中，利用K-means聚类算法将应用层正常网络行为特征值重新分为若干聚类，并重新确定这些聚类的中心从而得到更新后的应用层正常行为模型。

5.根据权利要求1所述的一种网络攻击异常检测方法，其特征在于，对于从网络层流量数据提取的网络行为特征值：步骤4确定正常的网络层网络行为特征值的集合，计算集合中样本分布的均值[e₁,e₂,...e_k]，k为网络层网络行为特征值的维度。

6.根据权利要求5所述的一种网络攻击异常检测方法，其特征在于，逐一计算其他的网络层网络行为特征值[d₁,d₂,...d_k]是否与所述样本分布的均值[e₁,e₂,...e_k]同分布：计算判断χ²是否大于χ²(α)，α为预设的置信水平，若大于则认为该网络层网络行为特征值为异常。

7.根据权利要求5或6所述的一种网络攻击异常检测方法，其特征在于，进行异常网络行为检测的同时，将确定为正常的新的网络层网络行为特征值加入到原有的网络层正常网络行为特征值集合中，重新计算该集合的样本分布均值，从而得到更新后的网络层正常行为模型。