CN110351244A

CN110351244A - 一种基于多卷积神经网络融合的网络入侵检测方法及系统

Info

Publication number: CN110351244A
Application number: CN201910503047.2A
Authority: CN
Inventors: 刘治; 许迎迎; 杨美君
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2019-10-18

Abstract

本公开提出了一种基于多卷积神经网络融合的网络入侵检测方法及系统，网络入侵检测方法包括如下步骤：采集网络运行的检测数据；对采集的检测数据进行预处理，获得预处理数据；根据数据相关性对预处理数据进行分类，获得不同类别的N类数据；将不同类数据分别输入至对应类别的训练好的卷积神经网络模型，获得N个卷积神经网络的输出结果；将N个卷积神经网络的输出结果进行融合，判断是否有网络入侵，获得网络入侵检测结果。本公开针对每一类数据分别采用单独的卷积神经网络进行训练识别，对识别结果进行融合得出最优结果。该方法有效的克服了现有深度学习方法中强加相关性的缺点，在二分类和多分类上的性能都优于现有方法。

Description

一种基于多卷积神经网络融合的网络入侵检测方法及系统

技术领域

本公开涉及网络入侵相关技术领域，具体的说，是涉及一种基于多卷积神经网络融合的网络入侵检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

随着信息时代的发展，互联网正在逐渐改变人们的生活、学习和工作方式，同时我们所面临的动态变化的安全威胁正变得越来越严重。网络入侵是网络空间中最常见的威胁之一，它是指任何试图破坏主机和网络的机密性、完整性或可用性的行为。然而，传统的网络入侵检测方法通常是被动的，不能有效地检测各种未知的入侵。因此，探索更准确、高效的智能网络入侵检测方法势在必行。

入侵检测系统(Intrusion Detection System,IDS)是一种实时监控网络流量的网络安全设备，它可以在发现可疑传输时发出警报或采取主动行动。它与其他网络安全设备的不同之处在于，IDS可以识别入侵，入侵可以是正在进行的入侵，也可以是已经发生的入侵。事实上，入侵检测通常被建模为一个二元分类问题，即识别网络流量行为是正常的还是异常的。总之，入侵检测的主要动机是提高分类器在有效识别入侵行为中的准确率。

机器学习方法已被广泛用于识别各种类型的攻击，它可以帮助网络管理员采取适当的措施来防止入侵。早期研究中有许多基于传统机器学习的多种方法，包括支持向量机、k近邻、随机森林、人工神经网络等，在入侵检测系统中取得了良好的效果。然而，传统的机器学习方法大多是浅层学习，往往强调特征工程和选择；它们不能有效地解决实际网络应用环境中存在的大规模入侵数据分类问题。随着数据集的动态增长，浅层学习不适合数据量大的高维学习的智能分析和预测需求。

近年来，深度学习在解决网络入侵检测问题中的应用是一个比较新的研究领域。现有的基于深度学习的入侵检测方法直接将预处理后的一维特征映射成相应的二维矩阵，将冗余部分用0填充。尽管这种方法简单明了，但它忽略了一个非常重要的问题——强加的相关性。变换后的二维矩阵类似于灰度图像，必然会在矩阵元素附近增加并不存在的相关性。这将严重影响模型训练的效果，削弱模型的适应性。

发明内容

本公开为了解决上述问题，提出了一种基于多卷积神经网络融合的网络入侵检测方法及系统，根据相关性将特征数据分为四部分，利用数据可视化方法将一维特征数据转换为灰度图，针对每一类数据分别采用单独的卷积神经网络进行训练识别，对识别结果进行融合得出最优结果。该方法有效的克服了现有深度学习方法中强加相关性的缺点，在二分类和多分类上的性能都优于现有方法。

为了实现上述目的，本公开采用如下技术方案：

一种基于多卷积神经网络融合的网络入侵检测方法，包括如下步骤：

采集网络运行的检测数据；

对采集的检测数据进行预处理，获得预处理数据；

根据数据相关性对预处理数据进行分类，获得不同类别的N类数据；

将不同类数据分别输入至对应类别的训练好的卷积神经网络模型，获得N个卷积神经网络的输出结果；

将N个卷积神经网络的输出结果进行融合，获得网络入侵检测结果。

进一步的，所述卷积神经网络模型的训练方法具体为：

采集网络入侵检测数据，包括正常数据和异常数据；

对采集的网络入侵检测数据进行预处理，获得预处理后网络入侵检测数据；

根据数据相关性对预处理样本集中的进行分类，获得N类数据作为样本集；

建立N个卷积神经网络，将样本集中不同类数据输入不同的卷积神经网络模型分别进行训练，获得N个分别针对不同类别的卷积神经网络模型。

进一步的，所述将输入将N个卷积神经网络的输出结果进行融合的方法具体为：将N个卷积神经网络的输出结果输入至训练好的非线性softmax回归模型，获得网络入侵检测结果。

进一步的，非线性softmax回归模型的训练方法具体为：

采集网络入侵检测数据，包括正常数据和异常数据；

建立N个卷积神经网络，将样本集中不同类数据输入不同的卷积神经网络模型分别进行训练，获得N个分别针对不同类别的卷积神经网络模型；

对N个卷积神经网络的输出结果输入非线性softmax回归模型进行训练进而获得模型参数，获得训练好的非线性softmax回归模型。

进一步的，采集网络入侵检测数据，所述网络入侵检测数据为NSL-KDD数据集或KDDCup99数据集。

进一步的，根据数据相关性对预处理数据进行分类，获得不同类别的N类数据，具体的分类类别分别为基本特征、内容特性、基于时间的网络流量统计特征和基于主机的网络流量统计特征。

进一步的，在将不同类数据分别输入至对应类别的训练好的卷积神经网络模型的步骤之前还包括数据可视化处理的步骤，将分类后的数据转换为灰度图像。

一种基于多卷积神经网络融合的网络入侵检测系统，包括：

检测数据采集模块：用于采集网络运行的检测数据；

预处理模块：用于对采集的检测数据进行预处理，获得预处理数据；

分类模块：根据数据相关性对预处理数据进行分类，获得不同类别的N类数据；

基于多卷积神经网络的识别模块：将不同类数据分别输入至对应类别的训练好的卷积神经网络模型，获得N个卷积神经网络的输出结果；

融合模块：用于将N个卷积神经网络的输出结果进行融合，判断是否有网络入侵，获得网络入侵检测结果。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开的方法提出了一种处理一维弱相关数据的新方法，通过分块与融合能够有效的处理相关性对深度学习模型训练的影响，检测速度快，能够满足入侵检测实时检测和在线学习的要求。

(2)本公开的方法的模型与其他传统学习方法和深度学习方法在NSL-KDD数据集上的性能进行了比较。实验结果表明，本公开的融合模型对入侵检测具有很强的适应性，在二分类和多分类上的性能都优于现有方法。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是根据本公开实施例1的方法流程图；

图2是本公开的实施例1的卷积神经网络模型结构；

图3是本公开实施例1的数据可视化效果图；

图4是本公开实施例1的入侵检测方法在二分类下的检测准确率与现有算法的比较结果；

图5是本公开实施例1的入侵检测方法在多分类下的检测准确率与现有算法的比较结果。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

在一个或多个实施方式中公开的技术方案中，如图1所示，一种基于多卷积神经网络融合的网络入侵检测方法，包括如下步骤：

步骤1：采集当前网络运行的检测数据；

网络运行的检测数据包括：网络流量、应用程序日志、系统调用信息、文件系统修改各个主机状态和活动、系统审计数据。可以通过在网络节点上设置相应的传感器进行检测。

步骤2：对采集的检测数据进行预处理，获得预处理数据；所述预处理包括对采集的检测数据进行特征提取处理，获得特征数据；对获得的特征数据进行数据清洗、数值化和归一化；

步骤3：根据数据相关性，依照数据不同特征的含义中对预处理数据进行分类，获得不同类别的N类数据；其中，N≥2。

步骤4：将不同类数据分别输入至对应类别的训练好的卷积神经网络模型，获得N个卷积神经网络的输出结果；

步骤5：将N个卷积神经网络的输出结果进行融合，判断是否有网络入侵，输出检测结果。

所述步骤5中将输入将N个卷积神经网络的输出结果进行融合的方法具体为：将N个卷积神经网络的输出结果输入至训练好的非线性softmax回归模型，获得网络入侵检测结果。

将N个卷积神经网络的输出结果使用非线性softmax回归模型进行训练并获得训练好的非线性softmax回归模型最终融合模型，判断是否有网络入侵，输出检测结果。

所述步骤2中预处理包括特征提取和数据清洗。特征提取：获取后的网络数据为流数据，数据量太庞大，无法直接进行处理。依据先验知识，可以从数据中提取41个特征，每个特征的含义如表1所示。41个特征数据加上一个对应的标签，构成样本数据集中一条记录。3)数据清洗，数据收集过程中不可能保证十分完美，依次进行分析前需要考察一下数据质量。首先是判断每条记录中是否存在缺失值，如果有则进行插补或者直接删除。之后判断每条记录中是否存在异常数值或者异常数据格式，如果有则直接删除。

预处理还包括包括数值化和归一化，所述数值化可以将字符型特征按照One-hot编码转为数值型，得到数值化后的数据集{X}。归一化是将数据集{X}中的数值归一到区间[0,1]内，即

公式中，X′为X归一化后的数值，X_min是数据集{X}中的最小值，X_max是数据集{X}中的最大值。

所述步骤3中，根据数据相关性对预处理数据进行分类，获得不同类别的N类数据；具体的提取每条当前网络运行的检测数据的的特征，依据已有专业知识即经验判断不同特征之间的相关程度，进而将特征分为N类。

分类的依据是相关性，本实施例可以依据专家知识根据不同特征的含义将将数据分为四部分，即N＝4。如表1所示，第一部分为基本特征，第二部分是内容特性，第三部分是基于时间的网络流量统计特征，第四部分是基于主机的网络流量统计特征。数据分类有助于模型学习特征之间的相关性，通过分离弱相关的特征，可以有效地降低人为添加相关性的影响，从而提高检测识别的效果。对于每部分的数据，直接将其转为二维矩阵，不足的部分用零补充。

表1

还包括数据可视化处理的步骤，将分类后的数据转换为灰度图像。考虑到卷积神经网络适合处理图像数据，因此需要将数据集中的每条记录转为灰度图像，即可视化处理。具体来说，对于包含M个数值的数据，可将其转为N*N像素大小的灰度图，不足的部分用零补充，其中N为不小于的最小整数。可视化的示例如图3所示。对数据划分后的四部分数据都需要进行可视化处理。

步骤4中训练卷积神经网络模型(CNN模型)，训练方法具体为：

步骤41：采集网络入侵检测数据，建立包括正常数据和异常数据的样本集；

在进行卷积神经网络模型或者非线性回归模型训练时，样本集的建立可以首先进行网络数据的获取，获取后对数据进行处理，提取数据的特征:1)网络数据获取可以建立一个模拟局域网的一个网络环境，收集一段时间内网络连接和系统设计数据，仿真各种用户类型、各种不同的攻击手段，尽可能的模拟一个真实的网络环境。数据集中每条数据定义为在某个时间内从开始到结束的网络连接，每个网络连接被标记为正常或异常，其中异常可以包含四类：拒绝服务攻击、来自远程主机的未授权访问、未授权的本地超级用户特权访问和端口监视或扫描。2)特征提取：获取后的网络数据为流数据，数据量太庞大，无法直接进行处理。依据先验知识，可以从数据中提取41个特征，每个特征的含义如表1所示。41个特征数据加上一个对应的标签，构成样本数据集中一条记录。3)数据清洗，数据收集过程中不可能保证十分完美，依次进行分析前需要考察一下数据质量。首先是判断每条记录中是否存在缺失值，如果有则进行插补或者直接删除。之后判断每条记录中是否存在异常数值或者异常数据格式，如果有则直接删除。

样本集也可以采用现有的网络入侵检测数据集，可以采用NSL-KDD数据集或KDDCup99数据集，本实施例可以采用NSL-KDD数据集，其中训练集为KDDTrain⁺、测试集为KDDTest⁺和KDDTest^-21，分别包含125973，22544和11850条记录。记录中包括正常数据和异常数据，标签主要分为5大类如表2所示：包括Normal，DOS(Denial of Service)，Probe(Probing)，R2L(Remote to Local)和U2R(User to Root)。NSL-KDD数据集中的每条记录都包含41个固有的特征属性和一个类标识属性。

表2

步骤42：对采集的网络入侵检测数据进行预处理，获得预处理后网络入侵检测数据；本步骤预处理的方法可以与步骤2采用相同的方法，包括特征提取、数值清洗、数值化和归一化的方法。

步骤43：根据数据相关性对预处理样本集中的进行分类，获得N类数据作为样本集；本步骤预处理的方法可以与步骤3采用相同的方法。如果直接进行可视化处理转为图像进行训练，会影响训练的效率并降低检测的效果。因此，根据数据中特征的含义不同，将数据集中每条记录分为4部分，具体划分结果如表2所示。

步骤44：建立N个卷积神经网络，将样本集中不同类数据输入不同的卷积神经网络模型分别进行训练，获得N个分别针对不同类别的卷积神经网络模型；对于不同类的数据，可以采用相似的卷积神经网络(CNN)的结构。本实施例的卷积神经网络(CNN)的结构可以采用如下结构：由一个输入层、两个卷积层和池化层、三个全连接的层和一个输出层组成，同时在第一个全连接层前面放置一个Dropout层。输入层将一维数据转换为二维矩阵；第二层是卷积层，使用32个滤波器提取输入数据；第三层是最大的池化层，用2x2向下采样数据，步长为1；第4层与第2层类似，只是卷积核的数量为64；最后一层是Softmax层，用于分类，输出分类结果，可以为有网络入侵和无网络入侵。

步骤5中训练非线性softmax回归模型，训练方法具体为：在步骤44之后执行步骤如下步骤：

步骤45：将N个卷积神经网络的输出结果输入至训练好的非线性softmax回归模型，获得非线性softmax回归模型的参数，最终获得融合多CNN的融合模型即为训练好的非线性softmax回归模型。

非线性回归模型具体为：

y＝softmax(∑W_iX_i+b_i)

其中W_i代表权重，x_i代表第i部分数据经过对应卷积神经网络模型后预测的分类结果，b_i代表偏置，y代表非线性softmax回归模型的预测结果。

为说明本实施例的效果，进行了对比仿真分析，采用经典数据集NSL-KDD进行测试，并与现有的基于深度学习的入侵检测方法进行仿真对比。

对训练好的模型分别在KDDTest⁺和KDDTest^-21上测试，分析测试所得的结果并与传统的入侵检测方法进行对比。图4为基于多卷积神经网络融合的入侵检测算法在二分类下的检测准确率及与现有算法的比较。图5为基于多卷积神经网络融合的入侵检测算法在多分类下的检测准确率及与现有算法的比较。结果显示，采用本实施例的方法检测的准确率高于现有的传统算法。

实施例2

本实施例提供一种基于多卷积神经网络融合的网络入侵检测系统，包括：

检测数据采集模块：用于采集网络运行的检测数据；

实施例3

本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一个实施例中方法的步骤。

实施例4

本实施例提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一个实施例中方法的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：包括如下步骤：

采集网络运行的检测数据；

对采集的检测数据进行预处理，获得预处理数据；

2.如权利要求1所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：所述卷积神经网络模型的训练方法具体为：

采集网络入侵检测数据，包括正常数据和异常数据；

3.如权利要求1所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：所述将输入将N个卷积神经网络的输出结果进行融合的方法具体为：将N个卷积神经网络的输出结果输入至训练好的非线性softmax回归模型，获得网络入侵检测结果。

4.如权利要求3所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：非线性softmax回归模型的训练方法具体为：

采集网络入侵检测数据，包括正常数据和异常数据；

5.如权利要求2或4所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：采集网络入侵检测数据，所述网络入侵检测数据为NSL-KDD数据集或KDDCup99数据集。

6.如权利要求1所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：根据数据相关性对预处理数据进行分类，获得不同类别的N类数据，具体的分类类别分别为基本特征、内容特性、基于时间的网络流量统计特征和基于主机的网络流量统计特征。

7.如权利要求1所述的一种基于多卷积神经网络融合的网络入侵检测方法，其特征是：在将不同类数据分别输入至对应类别的训练好的卷积神经网络模型的步骤之前还包括数据可视化处理的步骤，将分类后的数据转换为灰度图像。

8.一种基于多卷积神经网络融合的网络入侵检测系统，其特征是，包括：

检测数据采集模块：用于采集网络运行的检测数据；

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。