CN105959270A - 一种基于谱聚类算法的网络攻击检测方法 - Google Patents

Abstract

本发明公开了一种基于谱聚类算法的网络攻击检测方法，本发明利用NS2网络模拟器实现对拒绝服务攻击流的有效模拟，从而建立拒绝服务攻击模型，并采集实验数据且对数据进行验证；应用代数变换，设计基于转移概率矩阵的谱聚类算法，筛选出可疑隐蔽式网络攻击的通道；本发明对系统进行设计、测试、验证，再对互联网络攻击检测方法研究得出结论和建议；与现有技术相比，本发明采用的谱聚类算法的异常检测方法误报率低，检测率较高。

Description

一种基于谱聚类算法的网络攻击检测方法

技术领域

本发明涉及网络技术领域，尤其涉及一种基于谱聚类算法的网络攻击检测方法。

背景技术

随着互联网的快速发展和工业信息化的推进以及多种网络的融合，网络在各企事业单位中发挥着它独有的重要作用，利用网络处理各种信息也在日益增多。互联网经济的蓬勃发展背后，网络信息安全事件却时有发生。网络诈骗、病毒木马等阴暗面也随之而来，目前网络攻击目标范围广，从传统的计算机互联网到各行各业，如工业控制系统、交通、能源、航空、移动互联网和物联网等。网络攻击目的以信息窃取和获取经济利益为主。在技术手段上，为了持续性控制或持续获得有用信息，网络攻击者采用高级隐蔽技术对抗不断增强的安全威胁检测技术，从而能长期潜伏和信息窃取而不被发现。具有高隐蔽性和持续性的网络攻击能长期躲避安全审查，对网络安全危害大，是目前安全防护和发现威胁的难点。

网络攻击检测是网络安全的重要技术手段，是一种主动的安全防护技术，提供对内部攻击、外部攻击和误操作的实时保护，能在网络系统受到危害之前拦截入侵。异常检测方法通用性较强，能够检测出未知的入侵攻击行为，但异常检测方法误报率较高，同时检测率较低。对此，研究人员采取各种手段来降低误报率以提高检测效率。

针对僵尸网络和隐蔽木马检测国内外都有相应的检测方法，也有明显的防御效果。针对APT网络公司提出三种检测方案：第一是主机端防范入侵突破，解决的问题是恶意代码检测和主机应用防护。第二是网络通信，包括命令与控制通信信道发现，数据泄露检测以及内网威胁检测。第三是综合检测、大数据分析方面检测。以上三种检测方案国外主要的检测产品有FireEye的恶意代码防御系统MPS(MalwareProtection System)和Bit9的可信安全平台，以及趋势科技的Deep Discovery和RSA的NetWitness。国内方面：对主机端的防范入侵和综合检测有南京瀚海源的产品“星云”和安天的“追影”高级威胁鉴定器及启明星辰天阗威胁检测与智能分析系统等。但对于网络通信检测国内尚未见到对应产品。

目前APT、僵尸网络和木马存在部分重叠的隐蔽式网络攻击更多，也更难检测。国内的网络防护主要是边界防护，安全设备一般部署在网关位置，网络内部缺乏有效的攻击检测和防护，缺乏有效的内网网络数据流的监控方法，很容易被攻破。多年来，网络安全防护缺乏前瞻性研究，核心技术思想没有实质变化， 当新型网络攻击突破当前防护体系的核心防护技术后，整个网络安全行业似乎一下子被拉开差距，处于疲于应付的状态。

发明内容

发明目的：针对上述问题，本发明旨在提供一种基于谱聚类算法的网络攻击检测方法。

技术方案：一种基于谱聚类算法的网络攻击检测方法，包括如下步骤：

(1)输入数据样本集D＝{d₁，d₂，…，d_n}，其中n为样本集大小；

(2)用K均值算法对数据样本集聚类r次，r<<n，每次随机选取初值，得到r个划分结果；

(3)构建超图的邻接矩阵H，计算相似度矩阵A＝H×H^T/r，计算正则化拉普拉斯矩阵L_rw＝D^-1L，其中H^T表示矩阵H的转置矩阵，D为对角度矩阵，对角元素为D(i,i)＝Σ_jA(i,j)，L为非正则化拉普拉斯矩阵L＝D-A；

(4)用谱聚类算法对收集的数据样本集进行划分。

进一步的，步骤(2)中所述的r取值范围为5≤r≤20。

进一步的，步骤(3)具体包括如下子步骤：

(3.1)将步骤(2)中每次得到的划分结果作为证据，计算两个数据d_i，d_j的相似度；

(3.2)设C⁽¹⁾，…，C^(r)分别为对数据样本集r次运行K均值算法得到的r个划分结果，计算数据d_i和数据d_j的相似度S_ij即：di与dj属于同一个簇的次数除以算法运行次数r。

进一步的，所述步骤(4)具体包括如下子步骤：

(4.1)计算L_rw的前k个最小特征向量v₁，…，v_k；

(4.2)设矩阵V＝[v₁，…，v_k]∈R^{n × k}，z_i∈R^k为对应于V的第i行的列向量，使用K均值算法把Z＝{z_i|i＝1，…，n}聚为k个簇C₁，…，C_k，进行有效筛选；

(4.3)输出π＝{D₁，…，D_k}，其中D_i＝{d_j|z_j∈C_i，d_j∈D}，1≤i≤k。进一步筛选出可疑通道。

有益效果：本发明利用NS2(Network Simulator，version 2)网络模拟器实现对拒绝服务攻击流的有效模拟，从而建立拒绝服务攻击模型，并采集实验数据且对数据进行验证；应用代数变换，设计基于转移概率矩阵的谱聚类算法，筛选出可疑隐蔽式网络攻击的通道；本发明对系统进行设计、测试、验证，再对互联网络攻击检测方法研究得出结论和建议；与现有技术相比，本发明采用的谱聚类算法的异常检测方法误报率低，检测率较高。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明基于谱聚类算法的网络攻击检测方法如下步骤：

(1)输入数据样本集D＝{d₁，d₂，…，d_n}，其中n为样本集大小：分析知识库，收集数据样本集，应用人工和程序对数据样本集进行检查、分类；对国内外现有的检测方法研究分析；对数据样本集精确描述网络行为，并能够区分“合法”与“非法”的行为，在保证精确性的同时，对特征串进行处理，使特征串尽量不要太长，便于后面的处理。

本发明采用网络流量特征参数技术：分析攻击流量的特征参数提取方法。构造相似矩阵，对数据流进行聚类，同时改进谱聚类算法，降低算法的复杂度。

(2)用K均值算法对数据样本集聚类r次，r<<n，本实施例中r的取值为5≤r≤20，每次随机选取初值，得到r个划分结果；

(3)构建超图的邻接矩阵H，计算相似度矩阵A＝H×H^T/r，计算正则化拉普拉斯矩阵L_rw＝D^-1L，其中H^T表示矩阵H的转置矩阵，D为对角度矩阵，对角元素为D(i,i)＝Σ_jA(i,j)，L为非正则化拉普拉斯矩阵L＝D-A；具体为：

(3.1)将步骤(2)中每次得到的划分结果作为证据，计算两个数据d_i，d_j的相似度；

(3.2)设C⁽¹⁾，…，C^(r)分别为对数据样本集r次运行K均值算法得到的r个划分结果，计算数据d_i和数据d_j的相似度S_ij即：di与dj属于同一个簇的次数除以算法运行次数r。

(4)用谱聚类算法对收集的数据样本集进行划分，具体为：

(4.1)计算L_rw的前k个最小特征向量v₁，…，v_k；

(4.2)设矩阵V＝[v₁，…，v_k]∈R^{n × k}，z_i∈R^k为对应于V的第i行的列向量，使用K均值算法把Z＝{z_i|i＝1，…，n}聚为k个簇C₁，…，C_k，进行有效筛选；

(4.3)输出π＝{D₁，…，D_k}，其中D_i＝{d_j|z_j∈C_i，d_j∈D}，1≤i≤k。进一步筛选出可疑通道。

与分类问题不同的是，聚类学习中的数据是无类别标签的，因此，由不同的聚类算法得到的划分结果存在一个簇标签对应问题。为解决该问题，我们拟使用超图表示，把对象之间的两两关系表示出来，进而得到对象之间的相似度矩阵A＝H×H^T/r，其中H为超图的邻接矩阵。将本发明设计的算法称之为证据累积的谱聚类算法(Spectral Clustering Algorithm using Evidence Accumulation，SCAEA)。

本发明应用代数变换，设计基于转移概率矩阵的谱聚类算法，筛选出可疑 隐蔽式网络攻击的通道。为解决聚类集成问题，本发明在聚类集成阶段使用正则化拉普拉斯矩阵Lrw，得到一种新的算法。要使算法可扩展到大规模应用，拟通过代数变换避免n阶方阵Lrw的特征值分解问题。

对于L_rw＝D^-1L＝I-D^-1S，其中L＝D-S为非正则化拉普拉斯矩阵，D为对角度矩阵，对角元素为要计算L_rw的前k个最小特征向量，只需求解图上的随机游走对应的转移概率矩阵P＝D^-1S的前k个最大特征向量。考虑特征值分解问题：D^-1Sx＝λx，对方程两边同时左乘D^1/2，并令q＝D^1/2x，得到D^-1/2SD^-1/2q＝λq，即D^-1/2HH^TD^-1/2q＝(rλ)q。设Q＝D^-1/2H，则D^-1/2HH^TD^-1/2＝QQ^T，QQ^Tq＝(rλ)q。显然Q为n×t的矩阵，不妨设Q的秩为rank(Q)＝p≤t，其SVD被定义为：

Q＝UΣV^T (1)

其中U^TU＝V^TV＝I_n，Σ＝diag(σ₁,…,σ_n)，σ_i为Q的奇异值，且有当1≤i≤p时，σ_i>0，当i≥p+1时，σ_i＝0。由式(2-7)可得：

Q^T＝VΣU^T (2)

将式(1)分别左乘、右乘式(2)，得到：QQ^T＝UΣ²U^T，Q^TQ＝VΣ²V^T，因此Q的左、右奇异向量分别等于QQ^T和Q^TQ的p个非0特征值对应的特征向量，而奇异值等于QQ^T和Q^TQ的特征值的非负平方根。

根据以上分析，欲求L_rw的前k个最小特征向量x，只需求QQ^T的前k个最大特征向量q，而q等于Q的前k个最大左奇异向量。另外，根据式(1)，等式两边同时右乘其中为Σ的广义逆，经过简单整理得到即U可以通过求解t阶方阵Q^TQ＝H^TD^-1H的特征值和特征向量(即Q的右奇异向量)得到，由此，我们即可避免n阶方阵L_rw的特征值分解问题。

本发明利用NS2网络模实现对拒绝服务攻击流的有效模拟，从而建立拒绝服务攻击模型，并采集实验数据并对数据进行验证，从面对系统进行设计、测试、验证，再对互联网络攻击检测方法研究得出结论和建议。

以上所述仅是对本发明的优选实施方式，并非对本发明作任何形式上的限制，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于谱聚类算法的网络攻击检测方法，其特征在于，包括如下步骤：

(1)输入数据样本集D＝{d₁，d₂，…，d_n}，其中n为样本集大小；

(2)用K均值算法对数据样本集聚类r次，r<<n，每次随机选取初值，得到r个划分结果；

(3)构建超图的邻接矩阵H，计算相似度矩阵A＝H×H^T/r，计算正则化拉普拉斯矩阵L_rw＝D^-1L，其中H^T表示矩阵H的转置矩阵，D为对角度矩阵，对角元素为D(i,i)＝Σ_jA(i,j)，L为非正则化拉普拉斯矩阵L＝D-A；

(4)用谱聚类算法对收集的数据样本集进行划分。

2.根据权利要求1所述的一种基于谱聚类算法的网络攻击检测方法，其特征在于，步骤(2)中所述的r取值范围为5≤r≤20。

3.根据权利要求1所述的一种基于谱聚类算法的网络攻击检测方法，其特征在于，步骤(3)具体包括如下子步骤：

(3.1)将步骤(2)中每次得到的划分结果作为证据，计算两个数据d_i，d_j的相似度；

(3.2)设C⁽¹⁾，…，C^(r)分别为对数据样本集r次运行K均值算法得到的r个划分结果，计算数据d_i和数据d_j的相似度S_ij即：d_i与d_j属于同一个簇的次数除以算法运行次数r。

4.根据权利要求3所述的一种基于谱聚类算法的网络攻击检测方法，其特征在于，所述步骤(4)具体包括如下子步骤：

(4.1)计算L_rw的前k个最小特征向量v₁，…，v_k；

(4.2)设矩阵V＝[v₁，…，v_k]∈R^n×k，z_i∈R^k为对应于V的第i行的列向量，使用K均值算法把Z＝{z_i|i＝1，…，n}聚为k个簇C₁，…，C_k，进行有效筛选；

(4.3)输出π＝{D₁，…，D_k}，其中D_i＝{d_j|z_j∈C_i，d_j∈D}，1≤i≤k，进一步筛选出可疑通道。