CN110619049A

CN110619049A - 一种基于深度学习的报文异常检测方法

Info

Publication number: CN110619049A
Application number: CN201910911744.1A
Authority: CN
Inventors: 徐雪丽; 董玥; 安宁; 段娟; 肖创柏
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2019-12-27

Abstract

本发明公开了一种基于深度学习的报文异常检测方法，首先对数据做预处理操作，将其预处理成二维矩阵形式，为了减小一般算法模型容易出现的过拟合现象，本发明利用shuffle函数将数据随机打乱，防止到达局部最优，是模型更容易收敛。然后利用卷积神经网络CNN从预处理后的数据中学习有效特征，最后通过支持向量机SVM分类器将得到的向量进行分类处理。该方法是利用深度学习的卷积神经网络所具备的高维度学习的优势，学习网络传输报文的有效特征，本发明所提出的模型在京都大学数据集上进行实验验证，并与在该数据集上验证的其他两个效果较好的模型进行实验比对，实验证明准确率和稳定性方面均有了很大的提升，训练和测试的耗时明显减少。

Description

一种基于深度学习的报文异常检测方法

技术领域

本发明涉及深度学习的文本分类领域，该方法用于计算机网络中传输的正常和异常报文的检测，并在大规模的数据集上快速识别报文类型。

背景技术

随着计算机技术的发展，互联网已经走进人们生活的方方面面，给人们生活带来诸多便利也正在改变人们的生活工作方式，互联网已经成为人们生活中不可缺少组成部分。然而，网络发展的时代也给人们带来了安全威胁，各种新型的网络攻击接连出现。计算机安全常用的防护方法，如身份验证和防火前技术已经不能检测新型的攻击。因此针对新特征的入侵检测技术也越来越受广大科研人士的关注。这类技术可以归结为对报文的文本分类问题。在机器学习领域，已经有大量的国内外学者进行研究，现有的主流文本分类有两种类型：传统的机器学习分类算法和深度学习分类算法。前者分类算法主要有K最近邻算法(k-Nearest Neighbor，KNN),Boosting算法，支持向量机(Support Vector Machine,SVM)，k均值聚类算法(k-means clustering algorithm)，朴素贝叶斯模型(Naive BayesianModel，NBM)，决策树模型(Decision Tree Model)。后者主要有循环神经网络(RNN,Recurrent Neural Network)，深度神经网络(DNN,Deep Neural Network),卷积神经网络(CNN,Convolutional Neural Networks)。从检测效果上看深度学习方法较传统机器学习算法在检测率上有所提升。但目前还存在着模型检测效果不佳，检测效率较低等诸多问题。

发明内容

本发明的目的在于，针对上述传统的报文检测方法的不足，提出了一种基于深度学习的报文异常检测方法。该方法是利用深度学习的卷积神经网络所具备的高维度学习的优势，学习网络传输报文的有效特征，本发明所提出的模型在京都大学数据集上进行实验验证，并与在该数据集上验证的其他两个效果较好的模型进行实验比对，实验证明准确率和稳定性方面均有了很大的提升，训练和测试的耗时明显减少。

实现本发明方法的主要思路是：本发明提出的算法模型，首先对数据做预处理操作，将其预处理成二维矩阵形式，为了减小一般算法模型容易出现的过拟合现象，本发明利用shuffle函数将数据随机打乱，防止到达局部最优，是模型更容易收敛。然后利用卷积神经网络CNN从预处理后的数据中学习有效特征，最后通过支持向量机SVM分类器将得到的向量进行分类处理。

本发明的具体实现步骤如下：

步骤1：数据集预处理

本发明采用京都大学蜜罐系统数据集，总共包含24的数据特征，其中14个特征来自KDD CUP数据集，另外附加10个特征。将本报文数据集分成训练数据和测试数据，每个样本对应一条数据报文，同时包含该样本的类别标签。为了防止模型陷入局部最优，对训练数据集做随机打乱预处理。

步骤2：卷积神经网络CNN学习有效特征

数据预处理后，通过卷积神经网络学习有效特征。激活函数对特征学习起到关键的作用，常用的激活函数有sigmoid、tanh以及Relu等函数，鉴于Relu函数在本方法中的显著效果，本方法采用Relu函数作为激活函数。卷积核的设计关系到数据特征的提取，它是一个需要特殊设计的附带权值的矩阵。本模型使用两个卷积层，第一层的卷积核的个数是32个，大小是4*4二维矩阵，第二层的卷积核的个数是16个，大小是2*2的二维矩阵。两个池化层，池化层放在卷积层后面，两个池化层大小均为2*2。卷积层和池化层交替出现，实现对数据的有效特征的提取。最后交由全连接层处理。

步骤3：支持向量机SVM进行报文分类

在经过卷积层和池化层的两次处理后，提取数据特征后，利用全连接层对数据进行处理，全连接层的隐藏节点数是1024个，类别数为2，激活函数仍然是Relu函数。最后利用输出层将数据输出。本方法将数据经过卷积神经网络处理，然后将输出数据作为支持向量机SVM的输入，利用SVM算法二分类的优势，对输入的数据报文做分类处理，输出报文正常和异常的类别。

本发明与其他算法模型相比，具有以下显著的优势：本发明提出一种基于深度学习的报文入侵检测方法，有效利用深度学习的卷积神经网络对高维度学习的优势，实现对大数据量的数据集有效特征的学习，卷积神经网络与支持向量机的结合有效实现了正常异常报文的分类效果，本发明提出的模型没有出现过拟合现象，准确率有了显著的提升，且模型的收敛性较好，学习和检测速度较快。解决了现有模型的准确率不高，检测速度过慢，容易出现过拟合等问题。

附图说明

图1为本发明所涉及方法总体架构图；

图2为本发明所涉及不同模型训练对比实验图；

图3为本发明所涉及不同模型测试对比实验图；

具体实施方式

下面结合附图对本发明的技术方案做进一步的描述，附图1为本发明所涉及方法总体架构图。

步骤1，数据集预处理

本发明实施过程中使用著名的京都大学蜜罐系统的网络流量数据。它包含24个统计特征、(1)来自1999年KDD CUP数据集的14个特征；以及(2)10个附加特征，在此基础上为了适应本发明的算法模型CNN-SVM，对数据集进行了如下处理：

1)数据处理，为了与已有的模型作实验对比以及适应本文算法模型，本文在原有数据集的基础上对特征进行了补充，但并不对原有数据集产生影响，然后将数据集中的每条数据处理成一个5*5的二维矩阵；

2)标签处理，将原有数据集标签0处理成[1,-1]，标签1处理成[-1,1]；

3)数据打乱，由于数据集固定顺序，会限制梯度优化方向的可选择性，导致收敛点选择空间变少，以至于造成模型的过拟合。在数据训练之前，为了防止模型训练陷入局部最优，出现过拟合现象，本发明对数据集做shuffle处理，打乱数据的顺序。

步骤2：卷积神经网络CNN学习有效特征

常用的激活函数有sigmoid、tanh以及Relu等函数，鉴于Relu函数在本研究中的显著效果，本发明采用Relu函数作为激活函数。该模型使用两个卷积层，其中，第一个卷积层中包含32个卷积核，卷积核的大小是4*4的二维矩阵，第二个卷积层中包含16个卷积核，卷积核的大小是2*2。通过多个卷积核对输入数据进行卷积处理，采集输入数据的局部特征，提取后将这些特征按一定方式组合起来，作为卷积层的输出，每经过一个卷积层的处理都会跟随一个用于特征处理的池化层，进一步对数据进行提取，本文使用的两个池化层大小均为2*2。在经过卷积层和池化层的两次处理后，利用全连接层对数据进行处理，最后利用输出层将数据输出。

步骤3：支持向量机SVM进行报文分类

支持向量机(SVM)的思想主要是找到一个超平面，并将其视为决策面，该平面能够使得两种数据分类的间隔最大化。对于给定的数据集D，满足：

D＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)} (1)

其中y_i∈{-1,+1},i＝1,2,...,n，上式中x_i为特征向量，y_i为x_i对应的类别标签，y取值-1和+1代表两类不同的标签。支持向量机通过一定的映射规则将非线性的低维空间中的数据样本映射到高维空间，在高维空间中构造一个最优的超平面w·x+b＝0，其中w为该超平面的法向量，b为偏值。若超平面对数据正确分类，则满足

y_i(wx_i+b)-1+ξ_i≥0 i＝1,2,...,n (2)

其中ξ_i为松弛变量，ξ_i≥0。两类数据样本之间的间隔为由支持向量机的原理，须使得间隔最大化。

则

CNN-SVM模型所使用的SVM的损失函数计算损失:

其中C为惩罚系数。本方法将数据经过卷积神经网络处理，然后将输出数据作为SVM的输入，采用SVM作为输出层。

附图2和附图3中，最上面的曲线是本发明的模型，中间是GRU-SVM模型，最下方曲线是GRU-Softmax模型，从图上可以看出，本发明所提出的方法比使用其他两个模型(其他两个模型的下载地址https://github.com/AFAgarap/gru-svm)在训练和测试上准确率进一步的提升。表1和表2分别是CNN-SVM模型结构参数和三个模型实验超参数设置。表3是三个模型的在Intel(R)Core(TM)i5-4590CPU2@3.30GHz的计算机上训练和测试时间，从中可以看出本发明所提出的CNN-SVM算法模型训练和测试时间上均优于其他两个模型。

表1.CNN-SVM模型结构参数

表2.模型实验超参数设置

表3.三个模型的训练和测试时间

模型	训练时间	测试时间
			CNN-SVM	685.09/s	32.86/s
GRU-Softmax	8933.64/s	86.89/s
			GRU-SVM	9093.83/s	75.68/s

Claims

1.一种基于深度学习的报文异常检测方法，其特征在于：本方法的具体实现步骤如下，

步骤1：数据集预处理

采用京都大学蜜罐系统数据集，总共包含24的数据特征，其中14个特征来自KDD CUP数据集，另外附加10个特征；将本报文数据集分成训练数据和测试数据，每个样本对应一条数据报文，同时包含该样本的类别标签；为了防止模型陷入局部最优，对训练数据集做随机打乱预处理；

步骤2：卷积神经网络CNN学习有效特征

数据预处理后，通过卷积神经网络学习有效特征；激活函数对特征学习起到关键的作用，本方法采用Relu函数作为激活函数；卷积核的设计关系到数据特征的提取，它是一个需要特殊设计的附带权值的矩阵；使用两个卷积层，第一层的卷积核的个数是32个，大小是4*4二维矩阵，第二层的卷积核的个数是16个，大小是2*2的二维矩阵；两个池化层，池化层放在卷积层后面，两个池化层大小均为2*2；卷积层和池化层交替出现，实现对数据的有效特征的提取；最后交由全连接层处理；

步骤3：支持向量机SVM进行报文分类

在经过卷积层和池化层的两次处理后，提取数据特征后，利用全连接层对数据进行处理，全连接层的隐藏节点数是1024个，类别数为2，激活函数仍然是Relu函数；最后利用输出层将数据输出；本方法将数据经过卷积神经网络处理，然后将输出数据作为支持向量机SVM的输入，利用SVM算法二分类的优势，对输入的数据报文做分类处理，输出报文正常和异常的类别。

2.根据权利要求1所述的一种基于深度学习的报文异常检测方法，其特征在于：

对数据集进行了如下处理：

3)数据打乱，由于数据集固定顺序，会限制梯度优化方向的可选择性，导致收敛点选择空间变少，以至于造成模型的过拟合；在数据训练之前，为了防止模型训练陷入局部最优，出现过拟合现象，对数据集做shuffle处理，打乱数据的顺序。

3.根据权利要求1所述的一种基于深度学习的报文异常检测方法，其特征在于：

采用Relu函数作为激活函数，使用两个卷积层，其中，第一个卷积层中包含32个卷积核，卷积核的大小是4*4的二维矩阵，第二个卷积层中包含16个卷积核，卷积核的大小是2*2；通过多个卷积核对输入数据进行卷积处理，采集输入数据的局部特征，提取后将这些特征按一定方式组合起来，作为卷积层的输出，每经过一个卷积层的处理都会跟随一个用于特征处理的池化层，进一步对数据进行提取，使用两个池化层大小均为2*2；在经过卷积层和池化层的两次处理后，利用全连接层对数据进行处理，最后利用输出层将数据输出。

4.根据权利要求1所述的一种基于深度学习的报文异常检测方法，其特征在于：

支持向量机(SVM)的思想主要是找到一个超平面，并将其视为决策面，该超平面能够使得两种数据分类的间隔最大化；对于给定的数据集D，满足：

D＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)} (1)

其中y_i∈{-1,+1},i＝1,2,...,n，上式中x_i为特征向量，y_i为x_i对应的类别标签，y取值-1和+1代表两类不同的标签；支持向量机通过一定的映射规则将非线性的低维空间中的数据样本映射到高维空间，在高维空间中构造一个最优的超平面w·x+b＝0，其中w为该超平面的法向量，b为偏值；若超平面对数据正确分类，则满足

y_i(wx_i+b)-1+ξ_i≥0 i＝1,2,...,n (2)

其中ξ_i为松弛变量，ξ_i≥0；两类数据样本之间的间隔为由支持向量机的原理，须使得间隔最大化；

则

CNN-SVM模型所使用的SVM的损失函数计算损失:

其中C为惩罚系数；本方法将数据经过卷积神经网络处理，然后将输出数据作为SVM的输入，采用SVM作为输出层。