CN102045358A - 一种基于整合相关性分析与分级聚类的入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于整合相关性分析与分级聚类的入侵检测方法，属于信息安全技术领域，该方法首先建立入侵检测数据库的特征数据向量；步骤2：再计算计算机网络上的用户行为数据向量集中的每个特征数据向量和其余特征数据向量间的最大相关系数，排除与其余特征向量的最大相关系数小于一相关系数阈值的特征数据向量；最后，对经相关系数阈值选取后保留下来的特征数据向量进行分级聚类，分级聚类中采用的两个特征数据向量之间的距离量度

，其中，corr(v_i，v_j)是特征数据向量v_i和v_j间的相关系数，‖v_i-v_j‖为特征数据向量v_i和v_j间的欧拉距离。本发明的方法能降低入侵检测聚类分析中的海量运算，有效提高入侵检测数据的聚类分析的有效性。

Description

一种基于整合相关性分析与分级聚类的入侵检测方法

技术领域

本发明属于信息安全技术领域，尤其涉及一种整合相关性分析与分级聚类(hierarchical clustering)的入侵检测方法，主要应用于信息安全管理系统。

背景技术

随着计算机网络的普及，网络信息安全问题日益突出。入侵检测系统(IDS)作为信息安全保障中的一个重要环节，采用主动防御策略，在不影响网络性能的前提下对网络进行监测，通过对从计算机网络或计算机系统中的若干关键点收集的信息进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。入侵检测从技术上分为误用检测和异常检测两类，前者通过特征匹配检测是否发生入侵，对已知入侵的检测准确、快速，但不能检测未知入侵类型；后者则是在建立正常模型的基础上，将实际行为与之比较，通过分析是否存在偏离来判断入侵行为，该方法不仅能检测出已知入侵，还能检测未知入侵。目前异常检测已成为当前入侵检测系统研究的热点之一。

聚类分析又称群分析，是研究(样品或指标)分类问题的一种多元统计方法，所谓类足指相似元素的集合。而聚类就是按照一定的要求和规律对事物进行区分和分类的过程，在这一过程中没有任何关于类分的先验知识，没有教师指导，仅靠事物间的相似性作为类属划分的准则，即同一聚类之间最小化，而不同聚类之间数据最大化。分层聚类方法将数据集按不同层次逐层分割。在此，入侵检测模型能否高效、准确地辨析海量的用户行为数据，是判断一个入侵检测系统成功与否的标志，因此，如何使分层聚类方法能高效地从存储在数据库、数据仓库或其它信息库中的大量数据中发现有用知识的过程，减小聚类处理时间是一个亟待解决的问题。

分级聚类算法突破了非系统聚类法的很多限制，比如说生物学家用系统分类法来划分数据，动物和植物首先被分成种species，进一步的聚合成属classe，科order，目family，纲genera，门phyla。每一个分类水平都聚合了前一个水平的几个成员，如图1所示，属classe1122聚合了种species11221和11222等，科order112聚合了属classe1121和1122等，目family11聚合了order111和112，纲genera1聚合了目family11和12，纲genera2聚合了family21和22，门phyla聚合了纲genera1和2，系统聚类法就是从这个思想上发展而来的。

发明内容

本发明的目的在于提供一种能解决入侵检测聚类分析中海量运算和有效实施数据聚类的入侵检测方法。

本发明采用的技术方案为：一种基于整合相关性分析与分级聚类的入侵检测方法，包括以下步骤：

步骤1建立入侵检测数据库的特征数据向量；

步骤2：进行相关性分析：计算计算机网络上的用户行为数据向量集中的每个特征数据向量和其余特征数据向量间的最大相关系数，排除与其余特征向量的最大相关系数小于一相关系数阈值的特征数据向量；

步骤3：对经相关系数阈值选取后保留下来的特征数据向量进行分级聚类，分级聚类中采用的两个特征数据向量之间的距离量度

其中，corr(v_i，v_j)是特征数据向量v_i和v_j间的相关系数，‖v_i-v_j‖为特征数据向量v_i和v_j间的欧拉距离。

优选地，步骤2在确定相关系数阈值的方法为：首先通过bootstrap自助统计法拟合出所有特征数据向量的最大相关系数的正态分布，并获得得到的正态分布的平均值mean和标准差std；再通过正态累积分布的求逆函数求出对应于统计检验值的相关系数阈值。

优选地，所述统计检验值小于等于0.05。

优选地，所述特征数据向量包括一个时间窗口内目标主机是与当前连接相同的连接次数、出现SYN错误的连接在所述一个时间窗口内目标主机是与当前连接相同的连接次数中所占的百分比、目标端口相同的连接所占的百分比、目标端口不同的连接所占的百分比、目标端口与当前连接相同的连接次数、出现SYN错误的连接在所述目标端口与当前连接相同的连接次数中所占的百分比和目标主机不同的连接所占的百分比中的至少一个数据。

优选地，步骤3中进行分级聚类的方法为：用距离量度d_ST指定的方法计算用户行为数据向量集中的各特征数据向量之间的距离向量；再利用最短距离法计算所述距离向量的系统聚类树；最后，根据系统聚类树创建分类。

本发明的有益效果为：本发明的整合相关性分析与层次聚类分析的入侵检测方法具有以下有限：

①能降低入侵检测聚类分析中的海量运算，有效提高入侵检测数据的聚类分析的有效性；

②用于入侵检测的层次聚类分析法是无监督的检测方法，无需通过人工或其它方法对样本数据进行训练分类，可直接进行异常分类得出分类模型；同时，层次聚类分析具有高度的自学习和自适应能力，能够根据模型检测出已有的攻击以及一定数量的未知攻击类型，克服误用检测的局限性；

③由于聚类方法是从数据角度进行分析，其最终结果是一个面向对象的概念化的知识，该知识反映了数据的内在特性，是对数据所包含的信息的更高层次的抽象，将其应用于入侵检测，以入侵检测样本数据集作为分析粒度，采用层次聚类法，可使分类过程易于理解与实现，所得结果可以树状图的形式表示，体现可视化的特点；

④针对描述系统和网络活动的情况，特征集既有数值特征又有符号特征，在利用层次聚类进行入侵检测分析时，选用混合型数据样本间距离计算方法，增强了算法与实际应用的关联性；同时层次聚类算法具有用户无需设置参数，算法简单易懂，结果确定性的特点。

因此，基于整合相关性分析与分级聚类的入侵检测方法，它可以优化或完全抛弃既有模型，对用户行为重新划分，从中不断挖掘新的潜在模式，使该方法在入侵检测领域有广泛的应用前景。

附图说明

图1为入侵检测系统进行聚类的基本框架。

图2为根据本发明的的入侵检测方法的执行步骤。

具体实施方式

本发明中，对于入侵检测数据采用先用相关性分析进行初选数据，排除噪声数据点，再用分级聚类方法进行聚类得到检测结果。

本发明的技术方案如图2所示，在建立入侵检测数据库的特征数据向量后，进行以下步骤的分析，设对N个特征数据向量进行本发明的入侵检测分析，特征数据向量集V＝{v₁，v₂，…v_N}，其中，N为大于1的自然数。

步骤1：相关性分析方法

计算N个特征数据向量中的每个特征数据向量和其余特征数据向量间的最大相关系数CC，如第k个特征数据向量和其余特征数据向量间的最大相关系数CC_k可表示为：

${\mathrm{CC}}_k=\underset{j\≠k}{\max }\left\{\mathrm{corr}(v_k,v_j)\right\}---\left(1\right)$

其中，corr(v_k，v_j)表示特征数据向量之间的相关系数。

在实际计算中，CCs表示一个数据点(特征数据向量)和其它数据点间的相关系数，CC表示最大的相关系数值。按此方法，得到每一个数据点的最大相关系数的成像图，在此，给定一个相关系数阈值，排除与其余特征向量的最大相关系数小于该相关系数阈值的数据点，经相关系数阈值选取后保留的数据点作为潜在数据点进入分级聚类。因为由于噪声的影响，该结果可作为的初选结果。

步骤1中的确定阈值的方法如下：

计算对应于某一统计检验值P的相关系数阈值是参数和非参数统计中必要的步骤，首先通过bootstrap自助统计法拟合出N个特征数据向量的最大相关系数的正态分布，并获得得到的正态分布的平均值mean和标准差std；再通过正态累积分布的求逆函数求出对应于统计检验值P的相关系数阈值。

步骤2：完成分级聚类

影响系统聚类的关键是距离度量，两数据点V_i和V_j间传统的欧式距离d_Es可表示为：

d_Es＝‖v_i-v_j‖              (2)

考虑检测特性效果，本发明将两特征数据向量的距离量度定义为：

$d_{\mathrm{ST}}=(1-\mathrm{corr}(v_i,v_j))\×e^{\left|\right|v_i-v_j\left|\right|}---\left(3\right)$

其中，corr(v_i，v_j)是特征数据向量v_i和v_j间的相关系数。

将整合相关性分析与分级聚类的入侵检测方法用于异常入侵检测的过程主要有三部分，在此用《计算机工程》(李洋，2007)和《系统安全与入侵检测》(戴英侠等，2002)中公开的小型用户行为数据为例说明本发明的实施方式。

一是数据预处理部分：

如表1所示，选择在一个时间窗口内目标主机是与当前连接相同的连接次数Count、出现SYN错误的连接在连接次数Count中所占的百分比Serror、目标端口(service)相同的连接所占的百分比Same_srv、目标端口不同的连接所占的百分比Diff_srv、目标端口与当前连接相同的连接次数Srv_count、出现SYN错误的连接在连接次数Srv-count中所占的百分比Srv_serror和目标主机不同的连接所占的百分比Srv_diff_host等作为特征数据向量，利用本发明的入侵检测方法得到分类结果Class。

在该步骤中一般先完成特征数据向量的标准化，本实施例中，标准化采用零-均值标准化，即标准化等于特征数据向量与其平均值的差值再除以其标准差，在此可通过matlab函数实现z＝(x-mean(x))/std(x)，特征数据向量作标准化处理后仍是向量形式。

表1网络连接记录及分类

二是进行相关性分析：

对上述建立的特征数据向量进行相关分析，建立分级聚类模型的输入数据向量。以表1的第一个数据点为种子点与其余点做相关分析，通过相关系数阈值选取保留下的部分数据点设为数据集A1；再以表1的第二个数据点为种子点与其余点做相关分析，通过相关系数阈值选取保留下的部分数据点设为数据集A2，如此循环将所有数据点都作1次种子点处理，得到数据集A1至A20，将A1至A20数据集中均未保留下的数据点的对应行为设为攻击或噪声，不再作为下级分级聚类输入。该步骤相当于排除与其余特征向量的最大相关系数小于该阈值的数据点。

其中，获得相关系数阈值的具体方法如下：

首先将相关分析得到的最大相关系数作为matlab的bootstrap函数的输入变量拟合成正态分布，并求出得到的正态分布的平均值mean与标准差std，在此可通过MATLAB的mean与std函数实现。

对上述结果采用MATLAB的正态累积分布的求逆函数norminv实现对应与统计检验值p的相关系数阈值Z，在本实施例中，统计检验值p选为0.05，统计检验值p的大小可根据实际情况进行调整，但一般要保证p≤0.05，由于，本实施例中仅有20各数据点，所以可取相对较大的统计检验值。具体指令Z＝norminv(1-p/2，mean，std)，获得相关系数阈值Z。

三是检测过程，即利用分级聚类模型对新的检测样本进行分类：

为便于说明，此处仍采用matlab软件中的函数组合实现分类。首先，根据特征数据向量的距离等式(3)建立matlab的距离函数DST，然后用距离函数d_ST指定的方法计算特征数据向量集X中的各特征数据向量之间的距离，即表1中20各特征数据向量之间的距离，若利用matlab的指令函数pdist说明，则距离向量Y＝pdist(X，d_ST)；再利用最短距离法计算距离向量Y的系统聚类树Z，若利用matlab的指令函数linkage说明，则Z＝linkage(Y，’single’)，其中，single表示最短距离法；最后，根据系统聚类树Z创建分类T，分类数为3，若利用matlab的指令函数cluster说明，则T＝cluster(Z，cutoff)，其中，cutoff表示分类数，此处赋值为3，也可根据实际需要设定其它分类数。其中，将连接次数Count、出现SYN错误的连接在连接次数Count中所占的百分比Serror、目标端口与当前连接相同的连接次数Srv_count等值最大的一类表示表示为攻击；值最小的一类表示正常，剩下的一类表示异常。

据此，从聚类结果识别出攻击、异常和安全三种类型的记录。实验表明，此例中，聚类分析后识别出的结果如表1的Class栏所示，从中可以看出，运行聚类后，记录3是唯一具有攻击倾向的记录；而记录4～6、12、13、19、20是具有异常行为模式的7条记录，需要进一步观察；剩下的记录1、2、7～11、14～18则是安全的。

Claims (5)

1.一种基于整合相关性分析与分级聚类的入侵检测方法，其特征在于，包括以下步骤，

步骤1建立入侵检测数据库的特征数据向量；

步骤2：进行相关性分析：计算计算机网络上的用户行为数据向量集中的每个特征数据向量和其余特征数据向量间的最大相关系数，排除与其余特征向量的最大相关系数小于一相关系数阈值的特征数据向量；

步骤3：对经相关系数阈值选取后保留下来的特征数据向量进行分级聚类，分级聚类中采用的两个特征数据向量之间的距离量度

其中，corr(v_i，v_j)是特征数据向量v_i和v_j间的相关系数，‖v_i-v_j‖为特征数据向量v_i和v_j间的欧拉距离。

2.根据权利要求1所述的入侵检测方法，其特征在于，步骤2在确定相关系数阈值的方法为：首先通过bootstrap自助统计法拟合出所有特征数据向量的最大相关系数的正态分布，并获得得到的正态分布的平均值mean和标准差std；再通过正态累积分布的求逆函数求出对应于统计检验值的相关系数阈值。

3.根据权利要求2所述的入侵检测方法，其特征在于，所述统计检验值小于等于0.05。

4.根据权利要求2所述的入侵检测方法，其特征在于，所述特征数据向量包括一个时间窗口内目标主机是与当前连接相同的连接次数、出现SYN错误的连接在所述一个时间窗口内目标主机是与当前连接相同的连接次数中所占的百分比、目标端口相同的连接所占的百分比、目标端口不同的连接所占的百分比、目标端口与当前连接相同的连接次数、出现SYN错误的连接在所述目标端口与当前连接相同的连接次数中所占的百分比和目标主机不同的连接所占的百分比中的至少一个数据。

5.根据权利要求1至4中任一项所述的入侵检测方法，其特征在于，步骤3中进行分级聚类的方法为：用距离量度d_ST指定的方法计算用户行为数据向量集中的各特征数据向量之间的距离向量；再利用最短距离法计算所述距离向量的系统聚类树；最后，根据系统聚类树创建分类。

Images