CN107426207A

CN107426207A - 一种基于SA‑iForest的网络入侵异常检测方法

Info

Publication number: CN107426207A
Application number: CN201710603864.6A
Authority: CN
Inventors: 徐东; 王岩俊; 孟宇龙; 张子迎; 姬少培; 张朦朦; 李贤�; 张玲玲; 王磊; 吕骏
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2017-07-21
Filing date: 2017-07-21
Publication date: 2017-12-01
Anticipated expiration: 2037-07-21
Also published as: CN107426207B

Abstract

本发明公开了一种基于SA‑iForest的网络入侵异常检测方法，属于网络安全领域。首先通过对训练集随机选择属性训练出多棵iTree，通过交叉验证计算出它们的异常检测精度，同时采用Q‑统计量计算出iTree之间的差异性，然后把精确度和差异性作为iTree挑选标准，根据iTree的差异性和精确度，利用模拟退火算法从初始森林中选出比较优秀的iTree来构建集成iForest，然后对测试集进行测试统计出其异常分值，完成对网络入侵异常检测。该方法不仅减小了iTree的集成规模而且利用模拟退火优化算法的快速收敛性来提高网络入侵异常检测效率，同时还提高了算法的泛化能力和预测性能。

Description

一种基于SA-iForest的网络入侵异常检测方法

技术领域

本发明涉及网络安全领域，尤其是一种基于SA-iForest的网络入侵异常检测方法。

背景技术

随着网络技术的飞速发展和网络规模的不断扩大，网络安全问题日趋严重。入侵检测作为维护网络安全的一项重要技术，俨然已成为信息安全领域一个重要的研究内容，获得了众多专家学者的广泛关注。入侵检测技术主要是通过分析相关的网络数据来判断系统中是否存在违背系统安全或安全策略的行为。

Isolation Forest算法的设计利用了异常数据的两个特征：极少且与众不同。即异常数据对象个数占数据集总体规模的比重较小，其次异常数据的属性值与正常的属性值相比存在明显差异。当在仅包含数值类型的训练集中，对数据对象进行递归地划分，直至每个数据对象都由一棵称为iTree的二叉树与其他对象区别开来。显然异常对象距离树的根节点较近，即路径长度较短，反映了仅需少量条件就可将异常对象与其他对象区别。

与其他异常检测算法相比，Isolation Forest没有利用距离或密度来检测异常，这消除了基于距离和密度方法的计算量。利用异常数据少且与众不同的特点，使得它们与正常数据快速分离，具有较低的线性时间复杂度。虽然Isolation Forest算法在异常检测方面取得较好的效果，但仍存在一些不足之处：

(1)Isolation Forest算法对数据集进行异常检测的精确度与iTree的数目相关，而构建大规模iTree需要耗费大量内存，同时导致更大的计算。

(2)由于iTree数量过多，iTree之间的差异将越来越不明显，其异常检测的精确度参差不齐，存在一些性能较差的iTree，造成了空间浪费。

(3)Isolation Forest算法基于单个计算节点设计，其处理的数据规模受内存最大容量限制，处理海量数据较为困难。

发明内容

本发明要解决的技术问题是：提出一种基于SA-iForest的网络入侵异常检测方法，克服了传统的网络入侵检测方法检测精度低、泛化能力差等缺点。利用模拟退火的思想选择精度高和有差异性的iTree来优化iForest，使得该算法泛化能力提高，进一步提高了预测性能，同时去掉冗余iTree以减少iForest的存储空间、降低预测计算量、加快预测速度。

本发明的目的是这样实现的：

一种基于SA-iForest的网络入侵异常检测方法，其特征在于，包括如下步骤：

步骤一构建第一颗iTree。网络入侵数据训练集D_Train＝{d₁,d₂,…,d_i,…,d_n}，其中d_i网表示为第i条网络入侵数据。络入侵数据属性集A＝{A₁,A₂,…,A_i,…,A_m}，其中A_i表示为第i个属性。从属性集A中随机地选择k(k≤m)个属性构成子属性集a＝{A₁,A₂,…,A_k}，在a中随机选择一个属性A_j，然后对每个网络入侵数据，按照属性A_j的分裂值p进行划分。如果数据d_i的A_j属性的属性值d_i(A_j)<p，则放在左子树，反之则放在右子树。按此方式迭代地构造左、右子树，直至满足下列条件之一：

(1)D_Train中只剩下一条数据或多条相同的数据；

(2)树达到最大高度。

步骤二重复步骤一再构建L-1棵树组成初始森林T＝{T₁,T₂,…,T_L}，其中T表示L个iTree的集合，T_i表示第i棵iTree。

步骤三用训练集D_Train对初始森林T进行训练，根据Q-统计量法计算iTree之间的差异值，用交叉验证法计算每棵iTree的精度值ACC。

ACC＝{X₁,X₂,…,X_L}

其中，Q表示L个iTree的差异矩阵；Q_ij表示为初始森林中树T_i与树T_j之间的差异值；X_j表示树T_j的精确值。

如果任意两个iTree独立，那么这两个iTree的Q统计量的值为0。Q统计量的值在[-1,1]之间变化。Q统计量的值越大，表示两个iTree的差异度越小。极端情况，如果两个iTree的Q统计量的值为1，那么两个iTree差异度为0。

步骤四初始化。取初始温度t₀足够大，令温度t＝t₀,任取初始解T₁。

步骤五对当前温度t，重复步骤43-步骤46。

步骤六对当前解T₁随机扰动产生一个新解T₂。

步骤七计算T₂的增量df＝F(T₂)-F(T₁)，其中F(T₁)为树T₁的适应度值。

步骤八若df<0，则接受T₂作为新的当前解，即T₁＝T₂；否则按Metropolis规则，计算T₂的接受概率p，即随机产生(0,1)区间上均匀分布的随机数rand，若p＞rand，也接受T₂作为新的当前解，即T₁＝T₂,否则保留当前解T₁。

其中，κ为玻耳兹曼常数，exp表示自然指数。

步骤九如果满足设定的终止条件，则输出当前解T₁为最优解，终止条件通常取为在连续若干个Metropolis链中新解T₂都没有被接受时终止或者是设定结束温度；否则按衰减函数衰减温度t后返回步骤42。所述衰减函数为：

其中，t_s为第θ步时的温度值，t₀为初始温度。

步骤十重复步骤43-步骤46，从初始森林T中选出l(l≤L)个具有较优适应值的iTree组合成iForest。每棵iTree的适应度函数关系如下式：

其中，F(T_j)表示为树T_j的适应度值。W₁，W₂分别表示精确度和差异性对应的权重。

步骤十一对待检测数据进行预测，计算待测数据d在每一棵iTree的路径长度h(d)。

由于iTree与二叉查找树的结构等价，所以包含数据d的叶节点的路径长度等于二叉查找树中失败查询的路径长度。二叉查找树中失败查询的路径长度：

C(n)＝2H(n-1)-(2(n-1)/n)

其中，H(i)＝Ln(i)+γ,γ为欧拉常数。n为叶子节点数。C(n)为给定n时h(d)的平均值，使用它来标准化h(d)。待检测数据d的异常分数S(d,n)如公式所示：

其中，E(h(d))为iTree集合中h(d)的平均值。

当E(h(d))→C(n)时，S(d,n)→0.5，即当所有数据均返回的S(d,n)≈0.5时，那么全部样本中没有明显的异常值；当E(h(d))→0时，S(d,n)→1，即当数据返回的S(d,n)非常接近于1时，那么它们是异常值；当E(h(d))→n-1时，S(d,n)→0，即当对象返回的S(d,n)远远小于0.5时，那么它们有很大的可能被评价为正常值。此时完成对网络入侵异常检测。

本发明首先通过对训练集随机选择属性训练出多棵iTree，通过交叉验证计算出它们的异常检测精度，同时采用Q-统计量计算出iTree之间的差异性，然后把精确度和差异性作为iTree挑选标准，选出比较优秀的iTree来构建集成iForest，然后对测试集进行测试统计出其异常分值。该方法不仅减小了iTree的集成规模而且利用模拟退火优化算法的快速收敛性来提高网络入侵异常检测效率，同时还提高了算法的泛化能力和预测性能。

附图说明

图1为本发明的一种SA-iForest算法流程图。

具体实施方式

本发明旨在提出一种基于SA-iForest的网络入侵异常检测方法，克服了传统的网络入侵检测方法检测精度低、泛化能力差等缺点。

如图1所示，本发明中的一种基于SA-iForest的网络入侵异常检测方法包括如下步骤：

步骤1：构建第一课iTree。网络入侵数据训练集D_Train＝{d₁,d₂,…,d_i,…,d_n}，其中d_i表示为第i条网络入侵数据。网络入侵数据属性集A＝{A₁,A₂,…,A_i,…,A_m}，其中A_i表示为第i个属性。从属性集A中随机地选择k(k≤m)个属性构成子属性集a＝{A₁,A₂,…,A_k}，在a中随机选择一个属性A_j，然后对每个网络入侵数据，按照属性A_j的分裂值p进行划分。如果数据d_i的A_j属性的属性值d_i(A_j)<p，则放在左子树，反之则放在右子树。按此方式迭代地构造左、右子树，直至满足下列条件之一：

(1)D_Train中只剩下一条数据或多条相同的数据；

(2)树达到最大高度。

步骤2：重复步骤1再构建L-1棵树组成初始森林T＝{T₁,T₂,…,T_L}，其中T表示L个iTree的集合，T_i表示第i棵iTree。

步骤3：用训练集D_Train对初始森林T进行训练，根据Q-统计量法计算iTree之间的差异值，用交叉验证法计算每棵iTree的精度值ACC。

ACC＝{X₁,X₂,…,X_L}

步骤4：根据iTree的差异性和精确度利用模拟退火算法从初始森林T中选出l棵适应度值较优的iTree组合成iForest。每棵iTree的适应度函数关系如下式：

步骤4包括以下步骤：

步骤41：初始化。取初始温度t₀足够大，令温度t＝t₀,任取初始解T₁。

步骤42：对当前温度t，重复步骤43-步骤46。

步骤43：对当前解T₁随机扰动产生一个新解T₂。

步骤44：计算T₂的增量df＝F(T₂)-F(T₁)，其中F(T₁)为树T₁的适应度值。

步骤45：若df<0，则接受T₂作为新的当前解，即T₁＝T₂；否则按Metropolis规则，计算T₂的接受概率p，即随机产生(0,1)区间上均匀分布的随机数rand，若p＞rand，也接受T₂作为新的当前解，即T₁＝T₂,否则保留当前解T₁。

其中，κ为玻耳兹曼常数，exp表示自然指数。

步骤46：如果满足设定的终止条件，则输出当前解T₁为最优解，终止条件通常取为在连续若干个Metropolis链中新解T₂都没有被接受时终止或者是设定结束温度；否则按衰减函数衰减温度t后返回步骤42。所述衰减函数为：

其中，t_s为第θ步时的温度值，t₀为初始温度。

步骤47：重复步骤43-步骤46，从初始森林T中选出l(l≤L)个具有较优适应值的iTree组合成iForest。

步骤5：对待检测数据进行预测，计算待测数据d在每一棵iTree的路径长度h(d)。

C(n)＝2H(n-1)-(2(n-1)/n)

其中，E(h(d))为iTree集合中h(d)的平均值。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于SA-iForest的网络入侵异常检测方法，其特征在于，包括如下步骤：

步骤一构建第一颗iTree；网络入侵数据训练集D_Train＝{d₁,d₂,…,d_i,…,d_n}，其中d_i网表示为第i条网络入侵数据；络入侵数据属性集A＝{A₁,A₂,…,A_i,…,A_m}，其中A_i表示为第i个属性；从属性集A中随机地选择k(k≤m)个属性构成子属性集a＝{A₁,A₂,…,A_k}，在a中随机选择一个属性A_j，然后对每个网络入侵数据，按照属性A_j的分裂值p进行划分；如果数据d_i的A_j属性的属性值d_i(A_j)<p，则放在左子树，反之则放在右子树；按此方式迭代地构造左、右子树，直至满足下列条件之一：

(1)D_Train中只剩下一条数据或多条相同的数据；

(2)树达到最大高度；

步骤二重复步骤一再构建L-1棵树组成初始森林T＝{T₁,T₂,…,T_L}，其中T表示L个iTree的集合，T_i表示第i棵iTree；

步骤三用训练集D_Train对初始森林T进行训练，根据Q-统计量法计算iTree之间的差异值，用交叉验证法计算每棵iTree的精度值ACC；

ACC＝{X₁,X₂,…,X_L}

其中，Q表示L个iTree的差异矩阵；Q_ij表示为初始森林中树T_i与树T_j之间的差异值；X_j表示树T_j的精确值；

如果任意两个iTree独立，那么这两个iTree的Q统计量的值为0；Q统计量的值在[-1,1]之间变化；Q统计量的值越大，表示两个iTree的差异度越小；极端情况，如果两个iTree的Q统计量的值为1，那么两个iTree差异度为0；

步骤四初始化；取初始温度t₀足够大，令温度t＝t₀,任取初始解T₁；

步骤五对当前温度t，重复步骤43-步骤46；

步骤六对当前解T₁随机扰动产生一个新解T₂；

步骤七计算T₂的增量df＝F(T₂)-F(T₁)，其中F(T₁)为树T₁的适应度值；

步骤八若df<0，则接受T₂作为新的当前解，即T₁＝T₂；否则按Metropolis规则，计算T₂的接受概率p，即随机产生(0,1)区间上均匀分布的随机数rand，若p＞rand，也接受T₂作为新的当前解，即T₁＝T₂,否则保留当前解T₁；

<mrow> <mi>p</mi> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>-</mo> <mi>d</mi> <mi>f</mi> </mrow> <mrow> <mi>&kappa;</mi> <mi>t</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中，κ为玻耳兹曼常数，exp表示自然指数；

步骤九如果满足设定的终止条件，则输出当前解T₁为最优解，终止条件通常取为在连续若干个Metropolis链中新解T₂都没有被接受时终止或者是设定结束温度；否则按衰减函数衰减温度t后返回步骤42；所述衰减函数为：

<mrow> <msub> <mi>t</mi> <mi>s</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>t</mi> <mn>0</mn> </msub> <mrow> <mi>l</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mrow> <mo>(</mo> <mi>&theta;</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>)</mo> </mrow> </mrow>

其中，t_s为第θ步时的温度值，t₀为初始温度；

步骤十重复步骤43-步骤46，从初始森林T中选出l(l≤L)个具有较优适应值的iTree组合成iForest；每棵iTree的适应度函数关系如下式：

其中，F(T_j)表示为树T_j的适应度值；W₁，W₂分别表示精确度和差异性对应的权重；

步骤十一对待检测数据进行预测，计算待测数据d在每一棵iTree的路径长度h(d)；

由于iTree与二叉查找树的结构等价，所以包含数据d的叶节点的路径长度等于二叉查找树中失败查询的路径长度；二叉查找树中失败查询的路径长度：

C(n)＝2H(n-1)-(2(n-1)/n)

其中，H(i)＝Ln(i)+γ,γ为欧拉常数；n为叶子节点数；C(n)为给定n时h(d)的平均值，使用它来标准化h(d)；待检测数据d的异常分数S(d,n)如公式所示：

其中，E(h(d))为iTree集合中h(d)的平均值；

当E(h(d))→C(n)时，S(d,n)→0.5，即当所有数据均返回的S(d,n)≈0.5时，那么全部样本中没有明显的异常值；当E(h(d))→0时，S(d,n)→1，即当数据返回的S(d,n)非常接近于1时，那么它们是异常值；当E(h(d))→n-1时，S(d,n)→0，即当对象返回的S(d,n)远远小于0.5时，那么它们有很大的可能被评价为正常值；此时完成对网络入侵异常检测。