CN111556018B

CN111556018B - 一种基于cnn的网络入侵检测方法及电子装置

Info

Publication number: CN111556018B
Application number: CN202010218396.2A
Authority: CN
Inventors: 张小洋; 张棪; 于光喜; 杨慧然; 崔华俊
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2020-03-25
Filing date: 2020-03-25
Publication date: 2021-07-27
Anticipated expiration: 2040-03-25
Also published as: CN111556018A

Abstract

本发明提供一种基于CNN的网络入侵检测方法及电子装置，该方法包括：读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵；提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵；将所述袋特征矩阵逐一输入预训练CNN网络，判读各流袋中流量是否为正常流量。本发明通过提取具备缩放不变性和大小与序列不变性的袋特征和CNN学习特征表达，对未知攻击的检测能力得到大幅提升，更适用于大数据下分布式计算场景，提供了更灵活和快速的模型更新。

Description

一种基于CNN的网络入侵检测方法及电子装置

技术领域

本发明涉及信息安全领域，尤其涉及一种基于CNN的网络入侵检测方法及电子装置。

背景技术

网络入侵检测系统以旁路部署为主，位于网络关键位置，用于检测所有进出保护网络范围内的网络流量。网络入侵检测系统根据主要关注的流量不同而划分为三类：基于标志的(signature-based)入侵检测，主要关注攻击流量；基于异常的(abnormaly-based)入侵检测，主要关注正常流量；以及混合入侵检测，同时关注正常和攻击流量。

例如中国发明CN109347872A公开了一种基于模糊度和集成学习的网络入侵检测方法，其从原始流量数据中提取出能够反映流量特性的基本特征数据，对提取的数据进行预处理，多次随机划分预处理后的基本特征数据，得到若干训练样本子集，采用基于模糊度的半监督ELM算法构建并训练若干个基分类器，采用集成算法对训练好的基分类器进行结合，得到最终的入侵检测模型，进行网络入侵检测。但该方法为基于单一流量的检测方案，对未知攻击的检测能力提升有限，无法完成大数据下分布式计算场景。

近年来，机器学习技术被引入到入侵检测领域，具备良好的检测能力。SVM是一类常用的传统机器学习分类算法。在异常及混合检测研究中，Hu等使用鲁棒支持向量机(RSVM)构建异常检测分类器，在DARPA 1998数据集中有噪声的情况下进行测试，效果良好(Hu W,Liao Y,Vemuri V R.Robust support vector machines for anomaly detectionin computer security//Proceedings of the International Conference on MachineLearning and Applications.Los Angeles,USA,2003:168-174)。

基于传统机器学习的方法，大多局限于传统机器学习模型本身的局限，在训练时需要对所有训练数据进行全局计算，需要的计算资源大，不能很好应对大数据环境；且对于复杂多变的网络环境，模型更新不够灵活，在实际应用中检测效率不高。

大多数现有的解决方案都基于原始的流量特征，或是在此基础上进行特征筛选，再使用分类器进行检测。这一类方案受流量特征的局限，无法检测出潜在的攻击流量。

考虑到网络攻击手段的迅速演变，Bartos等人提出了一种新的特征表达方法：袋特征(bag feature)表达，使得SVM分类器具备识别未知攻击的能力。该方法主要根据HTTP会话信息将HTTP流量划分到不同的流袋中，使用直方图表示法对流袋提取袋特征，利用SVM分类器检测攻击(Bartos K,Sofka M,Franc V.Optimized Invariant Representation ofNetwork Traffic for Detecting Unseen Malware Variants[C]//USENIX SecuritySymposium 2016.2016.)。该研究较好地解决了基于流量特征方法中，对潜在攻击流量检测能力低的问题，且获得了较好的效果，但在实际应用中发现，完全提取袋特征的方案在特征提取和特征表达优化时，耗时较长，这意味着不仅在分类器模型训练时，同时在检测时的效率过低。又由于其基于SVM分类器进行分类，仍存在基于传统机器学习方法的检测方案的弊端。

发明内容

为克服现有技术的不足，本发明提供一种基于CNN的网络入侵检测方法及电子装置，在运用袋特征思想使得模型具备检测未知攻击的基础上，能够应对大数据场景和复杂多变的网络环境，灵活更新模型，且在检测时具备较高检测效率。

本发明采用的技术方案如下：

一种基于CNN的网络入侵检测方法，其步骤包括：

1)读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵；

2)提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵；

3)将所述袋特征矩阵逐一输入预训练CNN网络，判读各流袋中流量是否为正常流量。

进一步地，所述HTTP会话信息根据用户名和访问域名划分。

进一步地，所述分配的步骤包括：

1)根据每一所述HTTP会话信息的起止位置，将该HTTP会话信息依次放入可存一设定流量数量区间的流袋中；

2)当一所述HTTP会话信息的流量条数小于所述设定流量数量区间的下限，则放弃该HTTP会话信息的流量条数；

3)当一所述HTTP会话信息的流量条数位于小于所述设定流量数量区间中，则将该HTTP会话信息的流量放入一流袋中；

4)当一所述HTTP会话信息的流量条数大于所述设定流量数量区间的上限，则将前设定流量数量区间上限数量的HTTP会话信息放入一流袋，其余HTTP会话信息的流量放入下一个流袋中。

进一步地，对所述流袋矩阵每一维数据进行归一化处理，得到所述缩放不变性特征。

进一步地，使用直方图法对所述缩放不变性特征进行表达，得到所述大小与序列不变性特征。

进一步地，所述预训练CNN网络的结构包括：

1)若干卷积层，用以提取特征矩阵的局部特征；

2)与所述卷积层一一对应的若干池化层，用以简化特征表达；

3)全连接层，用于判别数据类别，输出对流袋内流量的类型估计。

进一步地，所述预训练CNN网络的训练步骤包括：

1)采集若干正常样本流量与若干攻击样本流量，组成正常流量矩阵与攻击流量矩阵，并分别根据各正常样本流量与若干攻击样本流量的HTTP会话信息及信息排序分配至若干可存一设定流量数量的流袋中，提取袋特征，得到若干正常袋特征矩阵与若干攻击袋特征矩阵；

2)对正常袋特征矩阵与攻击袋特征矩阵进行数据平衡，得到若干待训练矩阵及相应标签向量；

3)将每一待训练矩阵及相应标签向量逐一输入到CNN网络，得到预训练CNN网络。

进一步地，使用下采样方法进行所述数据平衡。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序执行上述方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。

与现有技术相比，本发明提出了一种基于CNN的网络入侵检测方法及电子装置，其有益效果为：

1)通过提取袋特征和CNN进一步学习特征表达，相比基于单一流量的检测方案，该方案对未知攻击的检测能力得到大幅提升；

2)本发明的袋特征仅要求具备缩放不变性和大小与序列不变性，相比于已有的袋特征提取方案，该方案在特征提取上速度更快，在进行网络入侵检测时，效率更高；

3)CNN的训练采用逐批次多轮迭代的方法，更适用于大数据下分布式计算场景；

4)CNN的逐批次训练为模型提供了在线更新的能力，可提供更灵活和快速的模型更新。

附图说明

图1为本发明中对初始流量矩阵进行流袋划分和袋特征提取的流程图。

图2为本发明方法中CNN的结构图。

图3为本发明中分别在训练模式和检测模式下，对原始流量进行袋特征提取，并使用CNN进行模型训练/流量检测的流程图。

具体实施方式

为使本发明的目的、原理、技术方案和优点更加清晰明白，以下将结合具体实施例，并参照附图对本发明做详细的说明。

本发明的技术关键点在于：

1)对网络流量的检测不基于单一流量数据，而是根据HTTP会话进行流袋划分，以流袋作为检测的单位；

2)对流袋提取袋特征时，提取的袋特征满足缩放不变性和大小与序列不变性；

3)CNN分为训练和检测两种工作模式，在训练模式下，模型参数随着逐批次数据迭代而更新；在检测模式下，模型参数固定，输出检测结果。

本发明提供的基于CNN的网络入侵检测方法，适用于将采集到的流量数据进行数据预处理后，对得到的格式化数据进行数据分析从而检测网络入侵行为，该方法的主要步骤包括：根据HTTP报文信息，对流量进行流袋划分，并对每个网络流袋提取其袋特征，提取后的结果数据将输入到CNN得到结果。对于CNN，存在训练和检测两个工作模式，前者输入训练数据，训练得到具备检测能力的CNN模型；后者输入待检测流量数据，将输出检测结果。

本发明中的流袋根据HTTP会话进行划分，同一HTTP会话的流量数据划分到同一流袋，会话则通过用户名和访问域名进行区分。

本发明中的袋特征，是指满足缩放不变性、大小不变性与序列不变性的流袋特征。其中，缩放不变性指当数据范围整体发生线性变化时，袋特征表达不会发生变化，具体的方法是使用归一化方法对袋内数据进行处理，该处理的形式化表示如式(1)所示，其中l为流量下标，k为流量特征下标。大小不变性是指所有袋特征矩阵维数一致，而序列不变性则指流袋内的流量发生顺序不影响特征表达，大小和序列不变性特征采用直方图表示法使得满足。直方图表示法是指将离散的数据划分为若干区间，统计各区间得到特征向量的方法，该方法的形式化表示如式(2)所示，其中，λ为直方图表示函数，d为流袋内流量条数，b为欲划分的区间数，θ表示直方图区间划分时的划分值向量，为(b+1)维向量。即λ函数为将某d维向量，通过(b+1)维的θ划分，映射为一个b维向量的函数；z为待进行直方图表示的d维列向量，对于有n维流量特征的流袋而言，共n条待处理的向量，j为列向量z的下标；对矩阵

的直方图表示方法最后将每一维流量特征向量的处理结果拼接为一个袋特征矩阵

由原始流量提取得到袋特征矩阵的整体流程可参考图1：对于待处理的原始流量矩阵，通过获取其HTTP会话信息，将其划分为若干个流袋，对这些流袋矩阵，依次用上述的归一化方法和直方图表示法，提取具备缩放不变性和大小与序列不变性的袋特征矩阵。

λ:R^d×R^b+1→R^b

本发明使用的CNN网络结构，主要由卷积层、池化层和全连接层组成。其中，卷积层用于提取特征矩阵的局部特征；池化层起到下采样的作用，简化特征表达。每个卷积层输出都经过一层池化层后，进入下一层处理；全连接层用于判别数据类别，将检测问题视为二分类问题，最终输出对流量类型的估计。CNN具体网络结构如图2所示。其中，16指输入的流袋矩阵的“宽度”，即进行直方图表示时划分为16个区间；卷积层均使用3*3维卷积核进行卷积运算，从C1-C3每层分别有32个、64个、64个卷积核；池化层均使用2*2维的最大值池；得到的中间结果分别为32个8*39维矩阵、64个4*20维矩阵和64个2*10维矩阵；最后将P3的输出平铺得到一个1280维向量，通过一个256节点的全连接层，由最后的输出节点得到对输入流袋的类型估计。

该方法的CNN由两种工作模式，即训练模式和检测模式。在训练模式中，向模型逐批次输入完成袋特征提取的训练用流量数据，通过多轮迭代得到具备检测能力的CNN模型并保存，用于之后的检测；在检测模式中，对待检测的流量提取袋特征，输入到已训练好的CNN模型中，得到对当前流袋的检测结果。

下面列出两种本发明的实际应用，请参考图3。

实施例1基于CNN的网络入侵检测方法-模型训练

现有已经过预处理的流量矩阵M，其中有若干正常流量，若干攻击流量。用以下步骤提取各流袋矩阵A的袋特征矩阵A_mean：

1、根据标签把M划分成正常流量矩阵M_benign和攻击流量矩阵M_attack；

2、对两个矩阵，分别进行流袋划分。划分的具体步骤为：

a)按照HTTP会话信息进行排序，记录每个会话的起止位置；

b)设置流袋内最多流量条数大小max_bagsize＝50和最少流量条数大小min_bagsize＝5，读取每个会话的起止位置，将会话按照bagsize大小划分为若干个流袋。划分的具体规则如下：

i.若当前会话中，流量条数n<min_bagsize，则放弃处理该会话；

ii.若当前会话中，流量条数n有：min_bagsize<＝n<＝max_bagsize，则将当前会话中的流量划入一个流袋中；

iii.若当前会话中，流量条数n有：n>max_bagsize，则将max_bagsize条流量划入一个网络流袋，剩余的流量继续按照流袋划分规则进行流袋划分。

3、对每个划分好的流袋矩阵A提取袋特征。提取步骤如下：

a)提取缩放不变性特征。对袋矩阵A，按照式(1)对每一维数据进行归一化处理，得到A_std；

b)提取大小与序列不变性特征，使用直方图表示法进行特征表达。按照式2，设置直方图表示法区间数t，对A_std使用直方图法进行特征表达，得到t×n_dim维矩阵A_mean。

4、完成袋特征提取后，使用训练集进行模型训练。对训练集使用下采样的方法进行数据平衡。具体的采样方法为：

a)若n_benign>n_attack，则从n_benign个正常流袋中随机不放回抽取n_attack个样本，令样本数量n_samples＝n_attack；

b)若n_attack>＝n_benign，则从n_attack个攻击流袋中随机不放回抽取n_benign个样本，令样本数量n_samples＝n_benign。

5、对n_samples个正常流袋和n_samples个攻击流袋生成新的标签向量Y，合并这些流袋，得到待训练矩阵X_mean。

6、初始化CNN模型。设置CNN的网络结构和基本参数。训练时采用逐批次迭代训练的方式，设置每批次样本数量batch size＝100，设置对全样本重复计算轮数epoch＝20。

7、将待训练矩阵X_mean和标签向量Y按参数设置，逐批输入到CNN模型进行训练，训练完成后得到训练后的CNN模型，该模型参数保存为Θ。

实施例2基于CNN的网络入侵检测方法-流量检测

完成检测模型训练后，使用已经训练好的模型进行流量检测。现有通过预处理的待检测流量矩阵M，其中含若干正常流量，若干攻击流量。有已完成训练的CNN模型参数Θ。对M进行流量检测的流程如下：

1、设置流袋最小流量条数min_bagsize和最大流量条数max_bagsize，读取并驻留每条流量的会话信息；

2、根据会话信息，按照实施例1步骤2-3中方法，得到袋特征矩阵A_mean；

3、设置CNN的网络结构，加载已训练好的模型参数Θ。

4、将待检测袋矩阵A_mean输入到CNN模型中进行检测。检测将输出其为正常流量的概率p，则为攻击流量的概率q＝1-p。当p<0.5时，p<q，估计流量攻击流量；当p≧0.5时，p≧q，估计流量为正常流量。

实验数据：

本发明与一现有的对数据使用SVM对归一化数据进行训练的方法(Heba F E,Darwish A,Hassanien A E,et al.Principle components analysis and supportvector machine based intrusion detection system[C]//201010th internationalconference on intelligent systems design and applications.IEEE,2010:363-367.)相比，本发明使用CNN对数据提取袋特征后进行训练、检测。对比两者得到的检测结果，可发现本方法检测未知攻击准确度(99％)远高于对比方法(59％)；

另将本发明的袋特征提取方法与现有的袋特征提取方案(Bartos K,Sofka M,Franc V.Optimized Invariant Representation of Network Traffic for DetectingUnseen Malware Variants[C]//USENIX Security Symposium 2016.2016.)进行对比，对输入数据进行特征提取。本发明的特征提取时间为231s，对比袋特征提取方案为1694s，可证明本发明的袋特征提取效率更高；

以上所述实施例仅为更好的说明本发明的目的、原理、技术方案和有益效果。所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于CNN的网络入侵检测方法，其步骤包括：

1）读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵，其中通过以下步骤分配：

1.1）根据每一所述HTTP会话信息的起止位置，将该HTTP会话信息依次放入可存一设定流量数量区间的流袋中；

1.2）当一所述HTTP会话信息的流量条数小于所述设定流量数量区间的下限，则放弃该HTTP会话信息的流量条数；

1.3）当一所述HTTP会话信息的流量条数位于小于所述设定流量数量区间中，则将该HTTP会话信息的流量放入一流袋中；

1.4）当一所述HTTP会话信息的流量条数大于所述设定流量数量区间的上限，则将前设定流量数量区间上限数量的HTTP会话信息放入一流袋，其余HTTP会话信息的流量放入下一个流袋中；

2）提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵；

3）将所述袋特征矩阵逐一输入预训练CNN网络，判读各流袋中流量是否为正常流量；

其中，对所述流袋矩阵每一维数据进行归一化处理，得到所述缩放不变性特征；使用直方图法对所述缩放不变性特征进行表达，得到所述大小与序列不变性特征。

2.如权利要求1所述的方法，其特征在于，所述HTTP会话信息根据用户名和访问域名划分。

3.如权利要求1所述的方法，其特征在于，所述预训练CNN网络的结构包括：

1）若干卷积层，用以提取特征矩阵的局部特征；

2）与所述卷积层一一对应的若干池化层，用以简化特征表达；

3）全连接层，用于判别数据类别，输出对流袋内流量的类型估计。

4.如权利要求1所述的方法，其特征在于，所述预训练CNN网络的训练步骤包括：

1）采集若干正常样本流量与若干攻击样本流量，组成正常流量矩阵与攻击流量矩阵，并分别根据各正常样本流量与若干攻击样本流量的HTTP会话信息及信息排序分配至若干可存一设定流量数量的流袋中，提取袋特征，得到若干正常袋特征矩阵与若干攻击袋特征矩阵；

2）对正常袋特征矩阵与攻击袋特征矩阵进行数据平衡，得到若干待训练矩阵及相应标签向量；

3）将每一待训练矩阵及相应标签向量逐一输入到CNN网络，得到预训练CNN网络。

5.如权利要求4所述的方法，其特征在于，使用下采样方法进行所述数据平衡。

6.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-5中任一所述方法。

7.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任一方法。