CN105975443B - 基于Lasso的网络异常行为检测方法及系统 - Google Patents

Abstract

本发明提供的基于Lasso的网络异常行为检测方法及系统，其方法包括建立异常检测模型，通过Lasso算法确定模型参数，输入待测数据并获取预测值，将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据；本发明结合了Lasso快速的参数估计和准确的回归拟合这样优良的特性，在保证检测速度的基础上，提高了对于网络异常行为的判断的准确率，本发明在数据处理过程中，通过稀疏表示的方法，使得数据维度大大降低，减少了模型检测的时间，具有更快的检测速度，可以实现实时在线检测，本发明可以对网络数据和主机数据进行双重监测，对数据处理可以以矩阵形式进行批量进行，并与采用硬件实现线性回归方法，大大提高了算法的执行速度，实现快速、高效、准确的异常检测。

Description

基于Lasso的网络异常行为检测方法及系统

技术领域

本发明涉及统计分析领域，尤其涉及一种基于Lasso的网络异常行为检测方法及系统。

背景技术

数理统计是伴随着概率论的发展而发展起来的一个数学分支，研究如何有效的收集、整理和分析受随机因素影响的数据，并对所考虑的问题作出推断或预测，为采取某种决策和行动提供依据或建议，目前，使用数理统计模型从海量数据中有效挖掘信息越来越受到业界关注，在建立模型之初，为了尽量减小因缺少重要自变量而出现的模型偏差，通常会选择尽可能多的自变量，然而，建模过程需要寻找对因变量最具有强解释力的自变量集合，也就是通过自变量选择来提高模型的解释性和预测精度，指标选择在统计建模过程中是极其重要的问题，Lasso(The Least Absolute Shrinkage and Selectionator operator)算法是一种能够实现指标集合精简的估计方法，这种算法通过构造一个惩罚函数获得一个精炼的模型；通过最终确定一些指标的系数为零，LASSO算法实现了指标集合精简的目的，这是一种处理具有复共线性数据的有偏估计，Lasso的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归系数，得到解释力较强的模型。

在统计分析领域中，异常检测旨在检测出不符合期望行为的数据，因而适合应用于故障诊断、入侵和欺诈检测以及数据预处理等多个领域，有着广泛的应用场合。目前，大多数异常检测方法都是针对某一特定领域问题进行建模并求解。这些模型受到各种因素的影响，如数据类型，已标记数据的有效性，待检测的异常类别等，这些因素往往是被待解决问题的领域知识所决定。目前的技术采用了各种数据分析和检测的理论和方法用于异常检测，如统计学习，机器学习，数据挖掘，信息论甚至光谱分析理论，但这些技术需要大量的训练数据来建立检测模型，且参数优化和学习时间较长。如采用贝叶斯统计模型就存在参数学习时间较长，精度容易受训练集的影响。而像基于距离、基于密度等单一优化参数的检查方法，虽然检测速度较快，收敛时间短，但其检测精度无法保证，因此，亟需一种新的异常检测方法，在保证检测速度的基础上，提高检测的精度。

发明内容

有鉴于此，本发明提供一种基于Lasso的网络异常行为检测方法及系统，以解决上述问题。

本发明提供的基于Lasso的网络异常行为检测方法，包括

建立异常检测模型，通过Lasso算法确定模型参数，输入待测数据并获取预测值，将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据。

进一步，在通过Lasso算法确定模型参数时，对属性变量进行加权，并用加权后的属性变量获取角分线和所述角分线方向的估值，角分线的每个变量的权值通过如下公式获取：

其中，角分线的变量集Z＝{Z1,Z2…Zn},Y为待逼近的应变量，Cov(Z_j,Y)为Zi(这里是不是应该为ZJ)与Y的协方差，D(ZJ)和D(Y)分别为Zj与Y的方差。

进一步，还包括将平滑切片绝对偏差惩罚函数作为约束项，所述模型参数通过如下公式获取:

其中，β为回归系数，λ≤|β|<aλ，y＝Xβ+e，X为自变量集，y为应变量，e为误差向量，

所述平滑切片绝对偏差惩罚函数为：

a表示指标集对应的自变量与角分线矢量的内积，λ表示权重系数，用来控制偏差惩罚函数的约束范围。

进一步，在确定模型参数之前对输入的数据进行预处理，并对预处理后的数据进行稀疏表示，所述预处理包括归一化处理。

进一步，还包括建立动态的特征数据库，保存异常行为特征，通过将输入数据与所述特征数据库优先匹配，判断是否存在异常数据，所述特征数据库包括误用检测训练样本库、异常检测训练样本库和异常检测结果异常样本库，通过将异常检测结果异常样本库添加到误用检测训练样本库中，对误用检测训练样本库进行更新。

本发明还提供一种基于Lasso的网络异常行为检测系统，包括异常检测单元、数据采集单元和异常数据判断单元，通过所述异常检测单元建立异常检测模型，通过Lasso算法确定模型参数，通过数据采集单元输入待测数据并获取预测值，异常数据判断单元将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据。

进一步，在通过Lasso算法确定模型参数时，对属性变量进行加权，并用加权后的属性变量获取角分线和所述角分线方向的估值，角分线的每个变量的权值通过如下公式获取：

其中，角分线的变量集Z＝{Z₁,Z₂…Z_n},Y为待逼近的应变量，Cov(Z_j,Y)为Zi(这里是不是应该为ZJ)与Y的协方差，D(ZJ)和D(Y)分别为Zj与Y的方差。

进一步，还包括用于将平滑切片绝对偏差惩罚函数作为约束项的约束单元，所述模型参数通过如下公式获取:

其中，β为回归系数，λ≤|β|<aλ，y＝Xβ+e，X为自变量集，y为应变量，e为误差向量，

所述平滑切片绝对偏差惩罚函数为：

a表示指标集对应的自变量与角分线矢量的内积，λ表示权重系数。

进一步，还包括预处理单元、用于对预处理单元处理后的数据进行稀疏表示的稀疏表示单元以及特征数据库单元；

所述预处理单元包括用于生成网络特征数据的网络数据预处理器和用于生成短序列向量的主机数据预处理器，所述特征数据库单元为动态的特征数据库，通过所述特征数据库保存异常行为特征，将输入数据与所述特征数据库优先匹配，判断是否存在异常数据。

进一步，所述异常数据判断单元将所述预测值与预先设置的阈值进行比较，当预测值大于阈值时，判定为异常，当阈值小于阈值时，判定为正常，所述阈值根据异常检测的命中率、误警率和准确度的共同临界点区域范围获取。

本发明的有益效果：本发明中的基于Lasso的网络异常行为检测方法结合了Lasso快速的参数估计和准确的回归拟合这样优良的特性，在保证检测速度的基础上，提高了对于网络异常行为的判断的准确率，本发明在数据处理过程中，通过稀疏表示的方法，使得数据维度大大降低，减少了模型检测的时间，具有更快的检测速度，可以实现实时在线检测，本发明可以对网络数据和主机数据进行双重监测，对数据处理可以以矩阵形式进行批量进行，并与采用硬件实现线性回归方法，大大提高了算法的执行速度，实现快速、高效、准确的异常检测。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1是应变量与角分线方向的残量的平方曲线图；

图2是不同阈值下属性变量回归系数曲线示意图；

图3是基于Lasso的异常检测的流程示意图；

图4是NSL-KDD数据集下异常检测的召回率、精确率、F-measure以及总体准确率的变化曲线图；

图5是NSL-KDD数据集下异常检测的命中率、误警率、准确度的变化曲线图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：图1是应变量与角分线方向的残量的平方曲线图；图2是不同阈值下属性变量回归系数曲线示意图；图3是基于Lasso的异常检测的流程示意图；图4是NSL-KDD数据集下异常检测的召回率、精确率、F-measure以及总体准确率的变化曲线图；图5是NSL-KDD数据集下异常检测的命中率、误警率、准确度的变化曲线图。

如图3所示，本实施例中的基于Lasso的网络异常行为检测方法，包括

建立异常检测模型，通过Lasso算法确定模型参数，输入待测数据并获取预测值，将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据。

在本实施例中，Lasso问题的求解实质上是解一个带不等式约束的二次规划问题，把Lasso问题的求解用于异常检测的关键在于把对异常情况的判断转化为二次规划问题的线性回归。在具体的检测环境中，就是把影响检测结果的指标变量与Lasso问题的自变量X进行关联，而应变量对应了检测的结果。建立异常检测模型的根本就在于找出检测指标变量和结果变量之间的关系。在Lasso问题中，即是求解出模型参数β，β是一个参数集合，对于多元线性回归问题，β甚至可以是一个矩阵集合。一旦模型参数β确定，就可以把待检测的数据作为X输入，通过矩阵运算，就可以得到预测值y，然后通过设置恰当的阈值，就可以从数据中判断出异常行为数据。

假设有数据(Xi，yi),i＝1,2,…,N,这里Xi＝(xi1,…,xip)T和yi,分别是第i个观测值对应的自变量和应变量，考虑线性回归模型：

y＝Xβ+e (1)

其中，β是d维列向量，为待估参数。误差向量e满足E(e)＝0，且Var(e)＝σ2I。并且假定：E(y|x)＝β₁x₁+...+β_dx_d。注意该模型是稀疏模型，即β1,β2，…,βd，中有很多系数为零。变量选择的目的就是根据获取的数据来识别模型中哪些系数为零，并估计其它非零参数，即寻找构建稀疏模型的参数。

通常，对于线性模型其变量选择可以表示如下：

其中，|β|₀＝{i|β_i≠0,i＝1,2,...p}，这里面实际有两个过程：寻找显著性变量和估计对应的系数，用传统方法处理模型选择时，这两个过程是分开进行的。由于没有对参数空间做任何限制，因此在实际处理时往往有一定难度。但Lasso及其相关方法在具体实现这两个过程时是同时进行的，Lasso实际上相当于考虑如下的问题的求解。

即要求回归系数绝对值之和小于某一阈值，实际上后面的不等式有效地对参数空间进行了限制，式(3)的表达和后面用惩罚函数表述的Lasso是等价的。

在本实施例中，在通过Lasso算法确定模型参数时，对属性变量进行加权，并用加权后的属性变量获取角分线和所述角分线方向的估值，本实施例中的迭代过程中的每一个β都是当前自变量集X中逼近y的最佳系数属性集(...xi,xj,xk...)的角分线对应的属性向量，不是实际的属性向量。其表示当前最能逼近应变量的属性向量，即该属性向量下确定的系数，是本次迭代能够计算出逼近y的最佳系数βn，称该角分线上的属性向量为局部最优属性向量。其物理意义为：在Lasso中利用属性集(...xi,xj,xk...)计算出的系数，与该局部最优属性向量计算出的系数是相同的，也就是说，对于(...xi,xj,xk...)多个属性向量构建的求解β的等式可以归一化为一个属性向量构建的求解等式。在异常检测中，并不是所有的属性项都影响着检测结果，且每种属性对检测结果影响的大小也是不一样的。因此，在Lasso中计算角分线时，对属性变量进行了加权，并用加权后的属性变量求得角分线和在该角分线方向的估值。因此对于需要计算角分线的变量集Z＝{Z₁,Z₂…Z_n},其待逼近的应变量为Y，其中Z_i与Y的协方差为：

Cov(Z_j,Y)＝E(Z_j·E(Z_j)-Y·E(Y))；

Zj与Y的方差分别为：

D(Z_j)＝E(Z_j-E(Z_j))；

D(Y)＝E(Y-E(Y))；

因此，计算角分线的每个变量的权值为：

Lasso算法在进行异常检测时，需要在加入权值求得角分线和该角分线方向的估值，以便更好地逼近Y，即：

X_A＝(...η_js_jx_j...)_j∈A；

由于异常检测数据存在稀疏性，因此Lasso在异常检测中的参数估计模型需要满足系数的稀疏性要求，且为达到邻近系数的稀疏性，还要实现系数差分的稀疏性。因此在式(3)中，加入了平滑切片绝对偏差惩罚函数(smoothly clipped absolute deviationpenalty，SCAD)作为约束项。SCAD实际上是一个光滑的惩罚函数，其形式如下：

λ表示权重系数，用来控制偏差惩罚函数的约束范围；

因此，Lasso参数求解表达式变为：

对于异常检测而言，考虑回归系数β尽可能稀疏，同时又要有稳定的解序列表达，因此把β的约束条件限定在λ≤|β|<aλ，故用于异常检测的Lasso方程式为：

在本实施例中，初始时令所有系数β为零，然后找出与应变量y最相关的自变量x_j，然后在这个变量方向上对y进行逼近，直到出现另一个变量x_i,它与应变量y的相关度与x_j和y的相关度相等，此时逼近系数接下来与前向梯度算法和向前选择法不同的是，算法沿x_j和x_i的角分线方向对y进行逼近，直到找到另一变量x_k,使得x_k与应变量y具有最强相关性，然后在沿x_i,x_j,x_k的角分线方向去逼近y，直到找又一个变量x_p与y最强相关，以此类推，直到残差y'＝y-β_kx_p足够小或已选择了所有自变量，则算法结束。

假定x₁,x₂,…x_m是线性独立的自变量。A是一个指标集，A＝{1,2,…,m},定义一个矩阵X_A

X_A＝(...s_jx_j...)_j∈A (4)

其中，sj为符号变量，sj＝{1,-1}，XA为从X中选取出满足指标集A的列向量。

使

G_A＝X'_AX_A且

其中，1A为长度为|A|0所有元素为1的向量，则XA中所有向量的角分线为：

u_A＝X_Aw_A

且

这里u_A是角分线上的单位矢量，

X'_Au_A＝A_A1_A

||u_A||²＝1 (7)

在梯度递进的过程中，且逐步产生假定是LARS算法当前产生的估值，

或者

其为当前角分线上的矢量与应变量的相关度。而指标集A则是对应了与应变量y的最大相关自变量：

令通过上式，可以计算出XA，AA和u_A，然后计算指标集对应的自变量XA与角分线矢量的内积

a＝X'u_A (10)

然后更新至因此算法沿u_A方向的估值为：

其中，为算法沿u_A方向前进的长度

式中，min上面的加号表示在选择j的执行步中，只计算集合中正数的最小值。

如果则应变量和当前变量的相关度为：

因此对于j∈A，根据(7)式，(9)式则有：

表明了每一步计算出的相关度的下降幅度的绝对值是一致的，之后则需要引入新的元素，更新指标集

其中，为使(12)式取得最小值的j。至此算法进入下一次逼近，用A+代替A重复上述步骤，直到残差足够小或所有自变量都被使用过。

Lasso的求解方式是对式(8)～(13)上进行的改进，消除了解β异号情况，即可得到Lasso解。如果β是Lasso问题u＝Xβ的解，则可以得到β的符号必须与当前相关度c_j＝<x'_j,(y-u)>是一致的，即

sign(β_j)＝sign(c_j)＝sign(<x'_j,(y-u)>)＝s_j (16)

也就是说Lasso解要求与当前逼近保持同向。而LARS算法没有要求满足(16)式的约束条件。假设得到了一个新的回归变量集A和LARS算法的估值其对应于Lasso的解令

w_A是一个长度为A的向量，进一步，这里定义了一个向量这个向量的元素是s_jw_j,其中s_j是入选变量x_j与当前残差的相关系数的符号，也是的符号。对于没有入选的变量，他们对应在中的元素为0。在式(11)中沿γ的正方向逼近，可以得到：

u(γ)＝Xβ(γ) (18)

其中，由于j是在集合A中，因此β_j(γ)在处改变符号，通常，首次符号变换出现在

而对于已经有的估计值β(γ)，它中的元素会在大于0的最小值的γ_j处变号，记之为如果没有γ_j大于0,那么就记为无穷大。在(12)式中，如果小于由于背离了(16)式的符号约束条件，则当时，β_j(γ)不是Lasso的解。连续函数c_j(γ)是不能改变符号，在LARS算法步骤中，对于(14)式且有

因此，当出现时，LARS算法在停滞，而Lasso则从下一次计算角分线的向量中移除因此算法前进的方向不再是(11)式，而是

Lasso作为一种参数估计方法，能有效地在克服传统方法在选择变量上的缺点，其既具有岭回归(Ridge regression)这种有偏估计方法的拟合精度高，对参数估计稳定的特点；又具有子集选择(Subset Selection)剔除冗余变量，降低计算维度，从而提高模型精度，减少运行时间的优点。在异常检测中，异常情况或者事件的出现是往往是由多个变量因素共同作用产生的，而且还有可能存在中间变量、隐藏变量等。同时需要在事件产生的高维数据中去分析出异常行为，需要消除冗余变量，减少模型建立的开销。本发明构建基于Lasso异常检测模型，实际上一种统计模型的异常检测方式，通过建立数据的统计模型，采取参数回归估计的方式来确定检测模型，进而对后续的异常行为进行判断。虽然对于参数估计来说，传统的最小二乘估计具有简单、快速且无偏估计的特点，但是它的方差在自变量线性相关程度高时通常较大，会降低检测精度。正是利用Lasso在参数回归估计上的稳定性、可解释性、以及回归系数压缩的特点，从而实现快速、高效、准确的异常检测。

如图1所示，在NSL-KDD数据集下，Lasso算法每轮循环应变量与角分线方向的残量的平方和(Sum of Squared Residuals，SSR)。选取了迭代步中15步，可以看出初始时较大，然后迅速下降，最后趋于稳定，而SSR平稳的转折点就对应了Lasso在NSL-KDD数据集中，进行回归的最佳自变量系数。而光滑曲线上的竖直线段代表了在该SSR值上，残量的标准差，如图2所示，NSL-KDD数据集中，41个属性变量Lasso回归的逼近过程，横坐标表示了阈值t，纵坐标表示了自变量回归系数的取值。把(3)式中的阈值t从0到1逐步增加，每一条曲线代表每一个属性变量的系数变换过程。可以看出阈值较小时，属性变量的系数趋于零，这说明该属性变量在整个回归模型中对异常检测的影响较低，进行异常检测时可以忽略该属性变量。但随着阈值t的增加，可以明显观察到属性变量的系数逐渐增大，越来愈多的属性变量对异常检测的结果有影响，其检测精度高于低阈值的情况，但势必增加计算开销。因此而在实际检测中，需要寻找合理的Lasso回归的阈值，以较低的计算代价来得到较高的检测精度。

在本实施例中，对(3)式进行预处理和归一化，并使得向量y和向量Xi＝1,2…m经过处理后均值为零。

令则(3)式等价于：β＝argmin||y'-X'β||₂约束条件||β||₁≤t

又有X_j＝||x'_j||₂，

并令β'_j＝β_jX_j。

则(3)式等价于

β'＝argmin||y'-X”β'||₂ ||β'||₁≤t'；

以上过程就是对Lasso求解的归一化处理，可以看出其自变量和应变量的均值为零。在预处理中，需要完成对数据的归一化处理，使之符合Lasso的归一化求解方式。通常情况下，对采集到的数据都要进行如上处理，缩小数据取值范围，有利于算法求解的稳定性。

本实施例还提供了一种包括异常检测单元、数据采集单元和异常数据判断单元，通过所述异常检测单元建立异常检测模型，通过Lasso算法确定模型参数，通过数据采集单元输入待测数据并获取预测值，异常数据判断单元将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据。

还包括预处理单元、用于对预处理单元处理后的数据进行稀疏表示的稀疏表示单元以及特征数据库单元；

所述预处理单元包括用于生成网络特征数据的网络数据预处理器和用于生成短序列向量的主机数据预处理器，所述特征数据库单元为动态的特征数据库，通过所述特征数据库保存异常行为特征，将输入数据与所述特征数据库优先匹配，判断是否存在异常数据。网络数据预处理器负责完成数据报分片重组、流重组、特征域映射以及特征构造等功能，生成网络特征数据，送入特征数据库存储或送入检测器检测。主机数据预处理器负责提取程序执行迹，并用滑动窗口生成短序列向量，送入特征数据库存储或送入检测器检测，由于网络数据量的巨大，因此采用通过基变换进行稀疏表示，选择恰当的基变换有利于数据的压缩表示，减少后续Lasso模型进行处理的数据量。但这种稀疏表示是可逆的，在完成检测后通过逆变换进行恢复，对稀疏表示后的数据进行规范化，确定自变量集合和应变量，建立Lasso的线性求解模型。

本实施例中的数据采集包括网络数据采集器负责从所处的网络环境中获得原始网络数据，并向系统的其他部分提供此数据。主机数据采集器负责审计特权程序，输出审计记录，并向系统的其他部分提供此数据，特征数据库是Lasso训练和检测的结果进行特征提取，通过压缩采样的方式进行存储。该特征库是一个动态的数据库，保存那些命中率高的异常行为特征，网络数据可以优先匹配该数据库，实现快速检测。特征向量库负责网络数据和主机数据的存储及发布，用于检测器的参数训练。特征数据库分为误用检测训练样本库(DB_MTRAIN)、异常检测训练样本库(DB_ATRAIN)和异常检测结果异常样本库(DB_ARESULT)。系统将DB_ARESULT添加DB_MTRAIN中，实现更新DB_MTRAIN，重新训练检测器，以达到更新检测规则，自动适应新网络环境。待检测数据进入建立好的Lasso检测模型进行拟合，把其得到的拟合结果与事先设定的阈值进行比较，小于该阈值为正常，反之则为异常，并根据拟合结果的取值区间判断是何种类型的攻击，然后根据检测模型的预先定义的规则执行日志记录、报警、阻塞、丢弃等响应操作。

KDD99是一个广泛使用的最具代表性的数据集。本发明采用了从KDD99数据改进发展而来的NSL-KDD，该数据集消除了KDD99数据集中的冗余，并随机地从KDD99数据集中抽取子集得到。因此NSL-KDD的训练集和测试集都比KDD99要小，而且数据没有重复，因此用于测试算法其结果更稳定。本发明采用了Recall(召回率)，Precision(精确率)，F-measure(F-检验)，Overall accuracy(总体准确率)作为检查标准。实验中对异常情况的判断是通过预测值与阈值进行比较，大于阈值则为异常，小于阈值则为正常。因此对于阈值t，本发明选择的范围是从-1到1，以0.1为步长进行增加，从而得到召回率，精确率，F-measure，总体准确率的变化曲线图，如图4所示，可以看出NSL-KDD数据集的召回率，精确率，F-measure，总体准确率的变化情况，虽然不同数据集，具体指标变化曲线不同，但观察发现，随着阈值t的增大，召回率、精确率、F-measure，总体准确率都有一个汇聚的区域，而该区域中，这四个参数的值都在90％以上，可见Lasso用于异常检测具有较高的检测精度和较好的参数收敛一致性，即Lasso方法在进行异常检测时，在某一判断阈值下，从检测指标上看都表现出了本发明提出方法的优异性能。对于异常检测而言，除了上面进行统计分析的评价指标之外，其在实际的检测环境中，命中率(真阳性率)、误警率(伪阳性率)、准确度是衡量其检测方法可用性的重要指标，如图5所示，在t的区间范围内，命中率、误警率、准确度都有较大的波动，且命中率、误警率、准确度都有一个急剧变化的临界区，因此，在这个三个参量共同的临界点区域内，本发明可以确定最佳的阈值范围，即选择恰当的阈值，可以使得命中率和准确率较高，而误警率较低。

如表1所示，在本实施例中，对比了k-近邻算法、C.45决策树算法、朴素贝叶斯分类算法、支持向量机在NSL-KDD数集上的检测结果。在模式识别领域，这四种方法通常利用分类的方式，划分出正常和异常行为，

表1

通过表1的实验结果中可以看到，除了支持向量机的检测性能与本发明提出的方法相当外，其他几种方法总体上性能低于本发明的方法。虽然k-近邻算法在召回率上效果较好，但其准确度总体准确率，命中率，误警率，准确度都和本发明的方法有定差距。当然其检测算法在某些检测指标方面也表现出较优的性能，但是基于Lasso的网络异常行为检测方法，由于直接进行参数回归，估计检测模型系数，因此其训练时间低于其他几种方法，且检测方式简单，对大量的数据集可以直接进行矩阵运算，即快速得到检测结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于Lasso的网络异常行为检测方法，其特征在于：包括异常检测单元、数据采集单元和异常数据判断单元；

通过所述异常检测单元建立异常检测模型，通过Lasso算法确定模型参数，通过数据采集单元输入待测数据并获取预测值，异常数据判断单元将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据；其中，数据采集单元包括网络数据采集器，负责从所处的网络环境中获得原始网络数据；主机数据采集器，负责审计特权程序；

还包括预处理单元、用于对预处理单元处理后的数据进行稀疏表示的稀疏表示单元以及特征数据库单元；

所述预处理单元包括用于生成网络特征数据的网络数据预处理器和用于生成短序列向量的主机数据预处理器，所述特征数据库单元为动态的特征数据库，通过所述特征数据库保存异常行为特征，将输入数据与所述特征数据库优先匹配，判断是否存在异常数据；所述特征数据库包括误用检测训练样本库、异常检测训练样本库和异常检测结果异常样本库，通过将异常检测结果异常样本库添加到误用检测训练样本库中，对误用检测训练样本库进行更新；

在通过Lasso算法确定模型参数时，对属性变量进行加权，并用加权后的属性变量获取角分线和所述角分线方向的估值，角分线的每个变量的权值通过如下公式获取：

其中，角分线的变量集Z＝{Z₁,Z₂…Z_n},Y为待逼近的应变量，Cov(Z_j,Y)为Z_j与Y的协方差，D(Z_j)和D(Y)分别为Z_j与Y的方差。

2.根据权利要求1所述的基于Lasso的网络异常行为检测方法，其特征在于：还包括将平滑切片绝对偏差惩罚函数作为约束项，所述模型参数通过如下公式获取:

其中，β为回归系数，λ≤|β|<aλ，y＝Xβ+e，X为自变量集，y为应变量，e为误差向量，

所述平滑切片绝对偏差惩罚函数为：

a表示指标集对应的自变量与角分线矢量的内积，λ表示权重系数。

3.根据权利要求2所述的基于Lasso的网络异常行为检测方法，其特征在于：在确定模型参数之前对输入的数据进行预处理，并对预处理后的数据进行稀疏表示，所述预处理包括归一化处理。

4.一种基于Lasso的网络异常行为检测系统，其特征在于：包括异常检测单元、数据采集单元和异常数据判断单元，通过所述异常检测单元建立异常检测模型，通过Lasso算法确定模型参数，通过数据采集单元输入待测数据并获取预测值，异常数据判断单元将所述预测值与预先设置的阈值进行比较，判断是否存在异常数据；

还包括预处理单元、用于对预处理单元处理后的数据进行稀疏表示的稀疏表示单元以及特征数据库单元；

所述预处理单元包括用于生成网络特征数据的网络数据预处理器和用于生成短序列向量的主机数据预处理器，所述特征数据库单元为动态的特征数据库，通过所述特征数据库保存异常行为特征，将输入数据与所述特征数据库优先匹配，判断是否存在异常数据；

在通过Lasso算法确定模型参数时，对属性变量进行加权，并用加权后的属性变量获取角分线和所述角分线方向的估值，角分线的每个变量的权值通过如下公式获取：

其中，角分线的变量集Z＝{Z₁,Z₂…Z_n},Y为待逼近的应变量，Cov(Z_j,Y)为Z_j与Y的协方差，D(Z_j)和D(Y)分别为Z_j与Y的方差。

5.根据权利要求4所述的基于Lasso的网络异常行为检测系统，其特征在于：还包括用于将平滑切片绝对偏差惩罚函数作为约束项的约束单元，所述模型参数通过如下公式获取:

其中，β为回归系数，λ≤|β|<aλ，y＝Xβ+e，X为自变量集，y为应变量，e为误差向量，

所述平滑切片绝对偏差惩罚函数为：

a表示指标集对应的自变量与角分线矢量的内积，λ表示权重系数。

6.根据权利要求4所述的基于Lasso的网络异常行为检测系统，其特征在于：所述异常数据判断单元将所述预测值与预先设置的阈值进行比较，当预测值大于等于阈值时，判定为异常，当阈值小于阈值时，判定为正常，所述阈值根据异常检测的命中率、误警率和准确度的共同临界点区域范围获取。