CN110381079A - 结合gru和svdd进行网络日志异常检测方法 - Google Patents

Abstract

本发明公开结合GRU和SVDD进行网络日志异常检测方法，利用主成分分析对大规模网络日志数据集进行降维，提取有效的属性；然后，利用处理过的训练数据集用来训练GRU‑SVDD分类器模型；最后，将要检测的实际日志输入到GRU‑SVDD比较器，检测出日志中的异常。本发明优于经典的GRU‑MLP和LSTM等算法。本发明很好的对测试数据集中的异常情况进行检测和定位。

Description

结合GRU和SVDD进行网络日志异常检测方法

技术领域

本发明涉及网络异常检测领域，尤其涉及结合GRU和SVDD进行网络日志异常检测方法。

背景技术

随着大数据、物联网等技术的迅速发展，企业把各种应用业务放到远程的服务器平台上面，它们在带给人民许多便利同时针对大数据平台服务器的网络攻击变得更加普遍。预计到2019年，因为全球网络犯罪的时常发生，会给全球企业和人民带来高达2万亿美元的经济损失。这些服务器中的日志数据，即大数据平台收集到大量的高维度正常用户访问日志数据。从以往的文献来看，有效地保证系统的可靠性与安全性，对分析和利用大规模的历史日志数据已经呈现出巨大的潜力。如何有效的利用这些大规模网络日志数据集来高效率构建异常检测模型，并应用于大数据平台的异常检测分析中，具有非常重要的意义。

异常检测的研究已经成为了互联网安全领域内最为热门的一个研究主题，而且在各个领域都有其广泛的应用。例如医疗药物研究、检测信用卡欺诈、从Web日志中检测异常、检测金融贷款中异常情况和大数据平台方面异常检测。发现入侵最常用的方法是分析用户活动。学术界与工业界经常采用机器学习方法去发现服务器系统大规模历史网络日志数据中隐藏的规律。

现有的方法应用于大规模网络日志数据集时，已经取得了一定的进展,但依然存在如下两个个方面的问题。问题1：传统的异常检测算法没有很好地对这些高维度的特征属性数据进行降维，较好的方法也是随机抽取部分特征进行检测，算法检测效率低，而且需要消耗大量人力物力。问题2：现有的利用机器学习方法进行大规模网络日志数据异常检测的算法，大多是直接对已有正常和多种攻击类型进行分类，而对未知异常类型检测能力较弱而且检测准确率低。

发明内容

本发明的目的在于提供结合GRU和SVDD进行网络日志异常检测方法。

本发明采用的技术方案是：

结合GRU和SVDD进行网络日志异常检测方法，对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新主成分；然后利用了GRU来提取降维预处理过后的数据属性特征，最后利用高效率的单分类方法替代GRU的输出层获得异常用户。

进一步地，利用了主成分分析方法对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理。

进一步地，方法包括模型训练阶段和异常检测阶段，具体步骤如下：

模型训练阶段：

S1-1,获取训练用的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到训练样本；

S1-2,利用训练样本训练出GRU_SVDD分类模型，其具体步骤为：

S1-2-1,把处理过后的训练数据特征输入到GRU模型

S1-2-2,计算GRU中的单元状态并更新参数矩阵，并初始化参数weights和biases；

S1-2-3,把神经网络预测的结果通过SVDD单分类决策函数计算

S1-2-4,利用Adam optimizer算法进行最优化损失函数，调整参数矩阵weights和biases；

S1-2-5,训练出GRU_SVDD分类模型；

异常检测阶段：

S2-1，获取待检测的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到检测样本；

S2-2,将检测样本输入训练好的GRU_SVDD分类模型，GRU_SVDD分类模型分类出异常用户的数据，进而返回用户异常情况。

进一步地，S1-1中的网络日志数据集为KDD CUP 99数据集。

进一步地，S1-1或S2-1中主成分分析前先对网络日志数据集进行的数值化预处理将非数值属性进行数值化。

进一步地，S1-1或S2-1中通过Scikit-learn中的方法对属性快速进行标准的数值化计算。

本发明采用以上技术方案，利用了主成分分析(PCA)一种高效率的统计方法，对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新的主成分，这种方法可以有效的减少大数据平台网络日志异常检测中误报、漏报率高等问题；然后利用了GRU来提取降维预处理过后的数据属性特征，最后算法会利用SVDD一种高效率的单分类方法替代GRU的输出层，并利用反向神经网络训练神经网络中大量的参数。最后可以训练出一个高质量的正常网络日志的异常分类模型。本发明可以很好的对测试数据集中的异常情况进行检测和定位。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为Sigmoid函数图像示意图；

图2为本发明结合GRU和SVDD进行网络日志异常检测方法的流程示意图；

图3为本发明的主成分分析数据集的主成分分析结果示意图。

具体实施方式

如图1-3之一所示，本发明公开了结合GRU和SVDD进行网络日志异常检测方法，对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新主成分；然后利用了GRU来提取降维预处理过后的数据属性特征，最后利用高效率的单分类方法替代GRU的输出层获得异常用户。

进一步地，利用了主成分分析方法对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理。

进一步地，方法包括模型训练阶段和异常检测阶段，具体步骤如下：

模型训练阶段：

S1-1,获取训练用的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到训练样本；进一步地，S1-1中的网络日志数据集为KDD CUP 99数据集。

S1-2,利用训练样本训练出GRU_SVDD分类模型，其具体步骤为：

S1-2-1,把处理过后的训练数据特征输入到GRU模型

S1-2-2,计算GRU中的单元状态并更新参数矩阵，并初始化参数weights和biases；

S1-2-3,把神经网络预测的结果通过SVDD单分类决策函数计算

S1-2-4,利用Adam optimizer算法进行最优化损失函数，调整参数矩阵weights和biases；

S1-2-5,训练出GRU_SVDD分类模型；

异常检测阶段：

S2-1，获取待检测的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到检测样本；

S2-2,将检测样本输入训练好的GRU_SVDD分类模型，GRU_SVDD分类模型分类出异常用户的数据，进而返回用户异常情况。

进一步地，S1-1或S2-1中主成分分析前先对网络日志数据集进行的数值化预处理将非数值属性进行数值化。

进一步地，S1-1或S2-1中通过Scikit-learn中的方法对属性快速进行标准的数值化计算。

下面就本发明的具体原理做详细说明：

本发明所涉及到的是大数据平台上面的网络日志异常分析，这些数据内部是非常不均衡。收集到的离线网络日志文件大部分都是正常的数据，选择好的分类模型分析这种网络日志，具有更大的价值。

传统的神经网络使用输出层是利用了Softmax对网络日志进行分类。如图1所示，Softmax函数的导数值在0和1之间。随着网络层数的加深，输出层误差的影响越来越小，即梯度变小，同时带来“梯度消失”现象，这是传统模型错误分类的原因之一。现有的一种结合RNN和SVM对网络日志进行数据分类，很好的提高了分类效果,但需要对原始数据进行标记，没有很好的应用本发明实际应用环境中数据集特性。

1999年Tax和Duin在支持向量机(Support Vector Machine,SVM)的理论基础上提出的一种新的单分类方法SVDD(Support Vector Domain Description)支持向量数据的描述。它是最著名的一类支持向量学习方法之一。该算法尝试使用特征空间上定义的球来区分一组正常数据和所有其他可能的异常对象。如果需要对只有一个类的进行判断，SVDD通过找到一个最适合的超球面，把这一类的日志数据包含进去.把需要识别的数据输入到SVDD模型，如果数据落入这个超球面，则认定这个数据是属于这个类，否则，该数据不属于这个类。因此，SVDD可以较好解决这一问题。

本发明提出一种针对网络日志的高效率异常检测算法，结合GRU和SVDD算法对网络日志数据集进行异常检测。本发明的选择的GRU是一种优于传统LSTM的算法，可以很好提取出原始日志数据集中的有效特征。GRU可以通过复位门调制先前记忆的内容，有助于更有效的记忆长序列依赖。原始的GRU算法可以有效的进行网络日志异常检测，但也存在两个方面的缺陷。第一，分析的数据是高维的而且属性之间相关性强，影响了异常检测效率；第二，传统的利用GRU进行网络日志数据集的分类只能检测出已知的异常情况，而且效率低。

如图2所示，本发明首先利用了主成分分析(PCA)一种高效率的统计方法，对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新的主成分，有效的减少大数据平台网络日志异常检测中误报、漏报率高等问题；然后利用了GRU来提取降维预处理过后的数据属性特征，最后算法会利用SVDD一种高效率的单分类方法替代GRU的输出层，构建网络日志的异常分类模型。

发明效果验证实验：本发明选择KDD CUP 99数据集，KDD CUP 99数据集是为网络日志异常检测方法应用而构造的。它的单条记录有42个可用统计特征，第42个特征是类标记，标记了多种异常类型和正常。正常的都标识为Normal。本发明研究了四类最常见的攻击类型分别为DOS、R2L、U2R、PROBE。本发明从KDD CUP99数据集中选择10％来训练模型，而且，本发明中会对数据集KDD CUP 99进行随机抽取分为五组，进行多个方面的有效对比。

在对网络日志的数据进行异常检测时，本发明中采用检测率(detection rate，DR)和误报率(false alarmrate,FAR)这两个性能指标去评估模型的异常检测效果。检测率是表示检测出的正确异常(TP+TN)占所有异常用户(P+N)的比例，而误报率是表示正常样本被错误检测为异常用户(FP+FN)占所有正常样本(P+N)的比例。

本发明的发明设计到KDD CUP 99数据集，数据集里面第2、3、4维数据为非数值形式，不能直接输入到异常检测算法模型里面。发明前会先对这三个维度的数据进行数值化预处理。具体为先统计这三个属性中会出现的次数，然后可以按照字母对它们进行排序，序号就可以代替原内容。

本发明的第一组发明是选取适合的主成分个数，提高异常检测效率。通过选择不同个数的新主成分，在异常检测效率最高时，此时新的主成分个数，就是最好的主成分个数选择。

本发明第二组发明是对比本发明算法异常检测的检测率和误报率。第一对比是本发明方法与经典的GRU-MLP，LSTM，PCA-SVM和LSTM-RNN。对比算法检测出多种异常类型的准确率和误报率。GRU-MLP,LSTM-RNN,LSTM,是比较的经典的异常检测方法，能够快速检测出网络中异常情况，但当应用于大规模数据集时检测效率较低；而PCA-SVM是改进SVM的一种高效率方法，但该方法只是简单地对大规模数据集进行数据降维，而且这些算法都是一种针对所有数据集都标记的方法，只能检测已知的异常情况。本发明提出的算法是从结合GRU和SVDD算法，不但利用了PCA对在预处理部分对数据进行了降维，而且利用了一种高效率的SVDD单分类算法替换GRU的输出，使算法不但能够检测出未知的异常，而且检测效率高。

结果及分析：本发明也应用到大量参数，其中包括算法中出现多个神经网络的算法参数进行手动调整，不通过超参数自动的优化。如表1。

表1神经网络中的超参数

本发明算法是利用正常的网络日志进行训练单分类模型，训练集会随机从从属性标签为Normal里面选择30000条日志数据，对测试数据集会选择5组，分别测试算法的检测效率，如表2所示。

表2数据分组

本发明涉及到利用主成分分析处理数据后属性选取的主成分个数，发明选择第一组数据集，包含各类异常样本，能更好的表现增加主成分分析处理数据对检测率的影响。如图3所示，不同的主成分个数选择对异常检测模型算法是有影响的，图3的横坐标表示通过主成分分析选择的主成分个数，纵坐标表示算法检测率。

从图3可以看出，选择30个主成分个数，效果比较好。发明结果也表明了利用主成分对高维度和属性之间高相关的KDD CUP 99网络日志数据集进行预处理，可以很好的提高算法检测效率。原因是KDD CUP 99数据集原始有43个属性，维度是较大的，而且从这43个属性可以看出属性之间部分是高度相关，这样会影响异常检测模型，本发明提出的算法是对原始的网络日志数据集利用主成分分析进行预处理，构造一种比原始数据集更容易表达的新的主成分的属性。

为了比较异常检测模型算法的检测能够很好的检测这4类异常情况，发明选择经典的BGRU-MLP，LSTM，PCA-SVM和LSTM-RNN与本发明基于改进的GRU算法进行对比，发明在上面5组发明上对比三种算法的检测率和误报率。

表3四种算法对4类异常类型的检测

从表3的发明结果可以看出，本发明提出的基于改进的GRU异常检测模型，能够很好的应用于大规模高维度的网络日志数据集，对比经典的GRU-MLP,LSTM-MLP,LSTM和PCA-SVM算法能够看出，本发明算法对四类异常情况在检测率上面都是比较好的。而且对于U2R这类异常情况，其他两种算法检测效率比较低，而本发明提出算法明显优于它们。在误报率方面本发明提出算法比较不稳定。

准确率比较好，有两个方面原因，第一是本发明算法利用了PCA对网络日志数据集进行属性降维，减少了原始记录的冗余属性。第二方面是本发明利用了SVDD一种高效率的单分类模型作为GRU神经网络的输出，只利用了正常网络日志进行训练模型，所以对U2R这类异常情况检查能力较好。也可以应用于检测未知的攻击情况。

为了进行一步与更多的经典算法进行对比，本发明利用混合情况第一组数据集，把本发明算法与BP神经网络，Semi-Superised GHSOM、GRU-SoftMax、BGRU-MLP的检测率进行对比，如表4所示。

表4五种算法对混合异常类型的检测

从表4中可以看出，基于改进GRU的异常检测算法对高维度和特征属性之间高相关的网络日志数据集进行异常检测效果表现很好。同时对比了四种比较常见简单的深度学习算法，它们也都是利用了神经网络的技术对网络日志数据集构建分类模型，但这几个算法都是完全通过数据集里面的各种正常与异常属性进行分类，没有很好的考虑到未知的攻击情况。而本发明是通过对正常的网络日志进行建模，只要不在正常范围内都属于异常情况。这也是从大数据平台特征出发的，大数据平台收集到的大部分都是正常的访问日志，而且可以根据这些检测过的日志进行增量式更新单分类模型。从检测率上面看本发明提出的算法效果也是优于其他四种算法。

综上所述，虽然大多数现有的异常检测算法都适用于网络日志的异常检测。但是，传统的算法应用大数据平台收集到大规模高维度的历史访问网络日志数据集时，检测效率低和需要昂贵的劳动力标签。本发明提出一种结合GRU和SVDD的网络日志异常检测算法，算法首先通过主成分分析方法对高维度的原始数据集进行预处理，消除冗余的特征属性，提高了检测效率，然后利用GRU神经网络结构提取预处理过的网络日志时间序列数据的特征，在最后分类输出时利用SVDD一种高效率单分类算法，进行正常网络日志的建模。本发明的方法效率更高而且更加具有实际意义；通过在实验数据集上面进行大量实验以及对于实验结果的分析表明基于改进GRU的算法与传统的方法相比，异常检测的准确率更高。

Claims (6)

1.结合GRU和SVDD进行网络日志异常检测方法，其特征在于：方法为：对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新主成分；然后利用了GRU来提取降维预处理过后的数据属性特征，最后利用高效率的单分类方法替代GRU的输出层获得异常用户。

2.根据权利要求1所述的结合GRU和SVDD进行网络日志异常检测方法，其特征在于：利用了主成分分析方法对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理。

3.根据权利要求2所述的结合GRU和SVDD进行网络日志异常检测方法，其特征在于：方法包括模型训练阶段和异常检测阶段，具体步骤如下：

模型训练阶段：

S1-1,获取训练用的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到训练样本；

S1-2,利用训练样本训练出GRU_SVDD分类模型，其具体步骤为：

S1-2-1,把处理过后的训练数据特征输入到GRU模型

S1-2-2,计算GRU中的单元状态并更新参数矩阵，并初始化参数weights和biases；

S1-2-3,把神经网络预测的结果通过SVDD单分类决策函数计算

S1-2-4,利用Adam optimizer 算法进行最优化损失函数，调整参数矩阵weights 和biases；

S1-2-5,训练出GRU_SVDD分类模型；

异常检测阶段：

S2-1，获取待检测的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到检测样本；

S2-2,将检测样本输入训练好的GRU_SVDD分类模型，GRU_SVDD分类模型分类出异常用户的数据，进而返回用户异常情况。

4. 根据权利要求3所述的结合GRU和SVDD进行网络日志异常检测方法，其特征在于：S1-1中的网络日志数据集为KDD CUP 99 数据集。

5.根据权利要求3所述的结合GRU和SVDD进行网络日志异常检测方法，其特征在于：S1-1或S2-1中主成分分析前先对网络日志数据集进行的数值化预处理将非数值属性进行数值化。

6.根据权利要求5所述的结合GRU和SVDD进行网络日志异常检测方法，其特征在于：S1-1或S2-1中通过Scikit-learn中的方法对属性快速进行标准的数值化计算。