CN116150747A - 基于cnn和sltm的入侵检测方法及装置 - Google Patents

Abstract

本发明涉及入侵检测技术领域，是一种基于CNN和SLTM的入侵检测方法及装置，其包括以下步骤：构建入侵检测流量数据集；对数据集进行一系列的预处理后映射为二维图像；将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中，二维图像经过此入侵检测模型的CNN层，提取空间信息，CNN层采用上下分支并使用不同尺寸卷积核，将输出的空间特征转换为一维向量输入到LSTM层中提取序列信息；经入侵检测结果得到流量数据的类型标签。本发明基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合构建，既能提取流量数据的空间信息，又能提取流量数据的序列信息，与现有技术相比，具有更高的准确率以及精确度，且检测时间能达到实时的要求。

Description

基于CNN和SLTM的入侵检测方法及装置

技术领域

本发明涉及入侵检测技术领域，是一种基于CNN和SLTM的入侵检测方法及装置。

背景技术

近几年来随着人们生活水平的不断提高以及科技的高速发展，各式各样的电子设备和产品如雨后春笋般不断涌现，使用率也达到了前所未有的高度，这使得依附于它们而生的网络也愈加复杂，随之带来的问题是网络安全受到越来越严重的威胁。不法人员对网络的攻击给人们的财产带来了极大的损失，维护网络安全刻不容缓。

入侵检测系统(intrusion detection system,IDS)是一种实时的主动的监测网络传输数据的系统，一旦发现有可疑的信息，就会立即报警或执行相应动作。根据检测的方式，IDS可以划分为两种类型：异常检测和误用检测。异常检测预先设定了正常的行为准则，如果发现数据与此不符，就被判断为非法入侵，这个检测方法有着很低的漏报率，但是误报率较高。误用检测则相反，事先规定好了所有不可接受的行为规则，只要检测到的数据符合其中的某条规则就被判定为入侵行为，这个检测方法有着较低的误报率，但由于瞬息万变的网络攻击，新出现的攻击行为可能没有被收录在规则库内，导致漏报率很高。入侵检测根本上是一个分类问题，即对当前数据行为进行正常与否判断，若为异常则判定是哪类异常行为。

研究人员已经对入侵检测模型进行了大量的研究，并将机器学习以及深度学习相关算法应用到检测模型中。Rahayuningsih等使用贝叶斯算法和特征相关的朴素贝叶斯算法分别进行入侵检测模型搭建，前者在数据集上获得了84.42％的准确率，后者获得了94.58％的准确率。Rosay等将多层感知机用于入侵检测，在数据集上获得了高于99％的准确率和低于0.7％的误报率。然而传统的的基于浅层网络的机器学习算法并不适用于日益复杂的网络攻击环境，故深度学习算法被引入到入侵检测模型中，深度学习拥有复杂的网络结构和非线性因素，与传统的机器学习相比，它可以直接从大量复杂的原始数据中提取特征，并获得不同特征之间的联系。Sohn指出深度神经网络(Deep Neural Networks,DNN)是恶意攻击检测的关键解决方案，其中深度信念网络(Deep Belief Network,DBN)是最具有影响力的一种。Li等人提出了一种基于多卷积神经网络(Multi-Convolutional NeuralNetwork,multi-CNN)的入侵检测方法，将特征数据分成四部分，然后将一维数据转化为灰度图，在入侵检测问题中引入CNN，是一种高精度、低复杂度的分类方法，但是此方法忽略了入侵数据的时间特性。

发明内容

本发明提供了一种基于CNN和SLTM的入侵检测方法及装置，克服了上述现有技术之不足，其能有效解决现有技术中忽略流量数据的时序特征而导致准确率偏低的问题。

本发明的技术方案之一是通过以下措施来实现的：一种基于CNN和LSTM的入侵检测方法，包括以下步骤：

构建入侵检测流量数据集；

对数据集进行预处理后映射为二维图像；

将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中；

经入侵检测结果得到流量数据的类型标签。

下面是对上述发明技术方案之一的进一步优化或/和改进：

将上述二维图像输入到入侵检测模型中时，具体可包括以下步骤：二维图像经过入侵检测模型的CNN层，提取空间信息，CNN层采用上下分支并使用不同尺寸卷积核，将输出的空间特征转换为一维向量输入到LSTM层中提取序列信息。

构建上述入侵检测数据集时，具体可包括以下步骤：

建立一个独立的计算机网络模拟环境，收集网络流量数据，以基于流的格式捕获网络流量数据；基于特定的流格式和流导出器，提取额外属性，利用数值映射的方法将数据集的字符型数据转换为数值型数据，完成入侵检测数据集的构建。

对上述数据集进行预处理后映射为二维图像时，预处理过程具体可包括：对原始数据集进行数据清洗、数据采样、数据归一化和数据图形化操作，得到符合模型输入标准的数据集。

在进行上述数据归一化时，可使用均方差归一化方法，可将数据映射到均值为0，方差为1的分布中，均方差归一化后的数据符合正态分布。

在进行上述数据图形化时，可将数据映射为二维灰度图像。

在训练上述基于CNN和LSTM的入侵检测模型时，可包括以下步骤：

依据预设迭代次数及预设批次大小，采用预设激活函数和预处理后数据集，依据预设比例随机划分数据集为训练集、验证集和测试集，对预先建立的基于CNN和LSTM的入侵检测网络进行训练，直至训练次数达到预设迭代次数，完成预先训练好的基于CNN和LSTM入侵检测模型的训练。

上述基于CNN和LSTM的入侵检测模型的CNN层，可采用上分支卷积神经网络对样本进行粗化学习；采用下分支卷积神经网络对样本进行细化学习，将二分支卷积神经网络的输出合并成一层，作为LSTM的输入；在上分支和下分支卷积神经网络中的每个卷积层后添加BN层；卷积层的激活函数采用协同激活函数形式，将每一层的输出平均分为两部分，一部分使用Relu激活函数，另一部分使用LeakyRelu激活函数。

上述基于CNN和LSTM的入侵检测模型的LSTM层，可提取样本时间特征，在其中加入Dropout层；将二分支卷积神经网络输出的空间特征转换为一维向量并输入到LSTM中用来学习样本的时序特征。

本发明的技术方案之二是通过以下措施来实现的：一种基于CNN和LSTM的入侵检测装置，包括：

输入模块，用于输入需要检测的流量数据；

预处理模块，用于将输入的流量数据进行预处理后映射为二维图像；

检测模块，用于将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中；

输出模块，用于输出经入侵检测结果得到的流量数据的类型标签。

本发明为一种基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的入侵检测方法及装置，提出了一种二分支卷积神经网络与长短期记忆网络相结合的入侵检测分类模型，并在数据集CICIDS2017上进行训练和优化。利用深度学习算法构建入侵检测模型可以从海量的数据中学习到更多更高维度的特征，从而使模型的检测分类效果更好。本发明的算法中卷积网络用不同卷积核提取不同层次数据特征，并使用协同激活函数提高模型泛化能力，有着更高的准确率和精确率。本发明提供的基于CNN和LSTM的入侵检测网络是基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合构建的，既能提取流量数据的空间信息，又能提取流量数据的序列信息，与现有技术相比，具有更高的准确率以及精确度，且检测时间能达到实时的要求。

附图说明

附图1为本发明实施例1的流程示意图。

附图2为本发明实施例1的原始数据预处理过程示意图。

附图3为本发明实施例1的入侵检测模型的总体结构示意图。

附图4为本发明实施例2的结构示意图。

具体实施方式

本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。

在本发明中，为了便于描述，各部件的相对位置关系的描述均是根据说明书附图的布图方式来进行描述的，如：前、后、上、下、左、右等的位置关系是依据说明书附图的布图方向来确定的。

下面结合实施例及附图对本发明作进一步描述：

实施例1：如附图1、2、3所示，该基于CNN和LSTM的入侵检测方法包括以下步骤：

步骤S101：构建入侵检测流量数据集。可以根据收集到的目前国内外公认的权威入侵检测数据集构建。也可以自己建立一个独立的计算机网络模拟环境，收集网络流量数据，以基于流的格式捕获网络流量数据，比起其他数据基于流的数据更加聚合，数据集的每个样本都是一条网络流量，每个样本都标记了当前样本的类别标签。基于特定的流格式和流导出器，可以提取额外属性，例如流量持续时间、流量字节/每秒等，利用数值映射的方法将数据集的字符型数据转换为数值型数据，完成入侵检测数据集的构建。

步骤S102：对数据集进行一系列的预处理后映射为二维图像，图像更有利于模型处理。对原始流量数据集进行预处理，以保证数据集满足模型的输入标准，从而方便算法的学习和改进。如图2所示，预处理过程具体包括：对原始数据集进行数据清洗、数据采样、数据归一化、数据图形化一系列操作，最后得到符合模型输入标准的数据集。

在本发明实施例中，数据归一化使用均方差归一化方法，将数据映射到均值为0，方差为1的分布中，即[-1,1]之间，均方差归一化后的数据符合正态分布，保留更多的数据特征；数据图形化将数据映射为二维灰度图像。

步骤S103：将预处理得到的二维图像输入到预先训练好的基于二分支卷积神经网络(CNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)的入侵检测模型中，二维图像首先经过此入侵检测模型的CNN层，提取空间信息，CNN层采用上下分支并使用不同尺寸卷积核，既能保留数据原始特征又能提取深层信息，其中激活函数采用协同激活函数增强泛化能力和准确率，然后将输出的空间特征转换为一维向量输入到LSTM层中提取序列信息。

在本发明实施例中，基于CNN和LSTM的入侵检测模型的CNN层，采用小尺寸3×3卷积核的上分支卷积神经网络对样本进行粗化学习以保留原始特征，防止重要信息丢失；采用大尺寸5×5卷积核的下分支卷积神经网络对样本进行细化学习以获取更深层次的信息，然后利用Flatten层将二分支卷积神经网络的输出合并成一层，经过简单处理作为LSTM的输入。在上分支和下分支卷积神经网络中的每个卷积层后添加BN层，可以有效防止模型训练过拟合，控制梯度爆炸和防止梯度消失，加快模型训练和收敛的速度。卷积层的激活函数采用协同激活函数形式，将每一层的输出平均分为两部分，一部分使用Relu激活函数，另一部分使用LeakyRelu激活函数，以这样的方式进行非线性化。

在本发明实施例中，基于CNN和LSTM的入侵检测模型的LSTM层，提取样本时间特征，在其中加入Dropout层，防止过拟合。将二分支卷积神经网络输出的空间特征转换为一维向量并输入到LSTM中用来学习样本的时序特征，两种网络相结合的模型比单独使用卷积神经网络或LSTM的模型性能更好。

在本发明实施例中，依据预设迭代次数及预设批次大小，采用预设激活函数和预处理后数据集，依据预设比例随机划分数据集为训练集、验证集和测试集，对预先建立的基于CNN和LSTM的入侵检测网络进行训练，直至训练次数达到预设迭代次数，完成预先训练好的基于CNN和LSTM入侵检测模型的训练。具体的，采用CICIDS2017数据集为入侵检测样本数据集，对此数据集进行数据清洗、数据采样、数据归一化、数据图形化一系列预处理操作，将其分类为10大类15小类的带标签数据。预处理后数据集依据比例6:2:2随机划分为训练集、验证集和测试集，迭代次数为50次，批次大小58批次，采用协同激活函数即一部分使用Relu激活函数，另一部分使用LeakyRelu激活函数，提取数据的不同特征，增强模型泛化能力和准确率，对预先建立的基于CNN和LSTM的入侵检测数据集进行训练，直至训练次数达到50次，完成预先训练好的基于CNN和LSTM入侵检测模型的训练。

如附图3所示，基于CNN和LSTM的入侵检测模型包括输入层、二分支卷积神经网络、LSTM网络、输出层；其中，输入层为预处理后的二维灰度图像。

二分支卷积神经网络，采用上下分支卷积神经网络，上分支卷积神经网络的第1、3、4层都是卷积层，使用尺寸为3×3的卷积核，数量分别是16、16、8个，其中第1层的卷积核步长为2，其余两层的卷积核步长为1，且3个卷积层在进行卷积操作时都进行了填充操作，Padding都为1。第2层是最大池化层，池化核尺寸为2×2，步长为2。最后一层第5层是Flatten层，将多维输入进行“压平”操作，使之一维化，大小为72。

二分支卷积神经网络，采用上下分支卷积神经网络，下分支卷积神经网络的第1、3层是卷积层，使用尺寸为5×5的卷积核，数量分别是16、8个，步长为1，且2个卷积层都进行了填充操作，第1层的卷积层Padding为2，第3层的卷积层Padding为1。第2、4层是最大池化层，池化核尺寸都为2×2，步长都为2。最后一层第5层是Flatten，将多维向量转化为一维向量，大小为32。

二分支卷积神经网络，采用上下分支卷积神经网络，上分支和下分支卷积神经网络中的每个卷积层后都加了BN层。最后再把上下分支网络两个Flatten层的输出用一个Flatten合并起来，大小为104，经过Dropout层随机失活一些神经元，最后经过全连接层输出1×104的一维向量作为LSTM网络的输入。

LSTM网络，LSTM中引入三个门限，分别是输入门、遗忘门、输出门，引入了表征长期记忆的细胞态、等待存入长期记忆的候选态、表示短期记忆的记忆体，有多层循环网络时，下一层的输入就是上一层的输出。在LSTM结构的最后使用Softmax激活函数来对输出作多分类。

输出层，输出结果为多分类，分类输出值为：

其中，Z_i为第i个节点的输出值；C为输出节点即分类的类别个数，本发明中为4。

步骤S104：经入侵检测结果得到流量数据的类型标签。

本发明实施例所提供的网络入侵检测方法，基于二分支卷积神经网络与长短期记忆网络构建基于CNN和LSTM的入侵检测网络，利用了不同大小卷积核卷积神经网络的粗细化学习特征，提取流量数据的不同空间特征，增强了模型的泛化能力。本发明实施例利用长短期记忆网络来提取流量数据的时序特征，增强了模型的准确性。本发明实施例所提供的方法，解决了现有技术中忽略流量数据的时序特征而导致准确率偏低的问题，提高了模型入侵检测的准确性。本发明实施例公开了一种基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的入侵检测方法，提出了一种二分支卷积神经网络与长短期记忆网络相结合的入侵检测分类模型，并在数据集CICIDS2017上进行训练和优化。利用深度学习算法构建入侵检测模型可以从海量的数据中学习到更多更高维度的特征，从而使模型的检测分类效果更好。本发明实施例的算法中卷积网络用不同卷积核提取不同层次数据特征，并使用协同激活函数提高模型泛化能力，有着更高的准确率和精确率。本发明实施例提供的基于CNN和LSTM的入侵检测网络是基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合构建的，既能提取流量数据的空间信息，又能提取流量数据的序列信息，与现有技术相比，具有更高的准确率以及精确度，且检测时间能达到实时的要求。

实施例2：如附图4所示，该基于CNN和LSTM的入侵检测装置包括：

输入模块100，用于输入需要检测的流量数据。

预处理模块200，用于将输入的流量数据进行一系列的预处理后映射为二维图像，图像更有利于模型处理。

检测模块300，用于将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中，二维图像首先经过此入侵检测模型的CNN层，提取空间信息，CNN层采用上下分支并使用不同尺寸卷积核，既能保留数据原始特征又能提取深层信息，其中激活函数采用协同激活函数增强泛化能力和准确率，然后将输出的空间特征转换为一维向量输入到LSTM层中提取序列信息。

输出模块400，用于输出经入侵检测结果得到的流量数据的类型标签。

本发明实施例的基于CNN和LSTM的入侵检测装置用于实现实施例1中的基于CNN和LSTM的入侵检测方法，因此基于CNN和LSTM的入侵检测装置中的具体实施方式请参照实施例1中的基于CNN和LSTM的入侵检测方法的实施例部分。例如，输入模块100，预处理模块200，检测模块300，输出模块400，分别用于实现实施例1中的基于CNN和LSTM的入侵检测方法中步骤S101，S102，S103和S104。所以，其具体实施方式可以参照相应的各个部分实施例的描述，为了节约篇幅，在此不再赘述。

本发明实施例公开了一种基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的入侵检测装置，提出了一种二分支卷积神经网络与长短期记忆网络相结合的入侵检测分类模型，并在数据集CICIDS2017上进行训练和优化。利用深度学习算法构建入侵检测模型可以从海量的数据中学习到更多更高维度的特征，从而使模型的检测分类效果更好。本发明实施例的算法中卷积网络用不同卷积核提取不同层次数据特征，并使用协同激活函数提高模型泛化能力，有着更高的准确率和精确率。本发明实施例提供的基于CNN和LSTM的入侵检测网络是基于二分支卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合构建的，既能提取流量数据的空间信息，又能提取流量数据的序列信息，与现有技术相比，具有更高的准确率以及精确度，且检测时间能达到实时的要求。

以上技术特征构成了本发明的实施例，其具有较强的适应性和实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。

Claims (10)

1.一种基于CNN和LSTM的入侵检测方法，其特征在于包括以下步骤：

构建入侵检测流量数据集；

对数据集进行预处理后映射为二维图像；

将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中；

经入侵检测结果得到流量数据的类型标签。

2.根据权利要求1所述的基于CNN和SLTM的入侵检测方法，其特征在于将二维图像输入到入侵检测模型中时，具体包括以下步骤：二维图像经过入侵检测模型的CNN层，提取空间信息，CNN层采用上下分支并使用不同尺寸卷积核，将输出的空间特征转换为一维向量输入到LSTM层中提取序列信息。

3.根据权利要求1或2所述的基于CNN和SLTM的入侵检测方法，其特征在于构建入侵检测数据集时，具体包括以下步骤：

建立一个独立的计算机网络模拟环境，收集网络流量数据，以基于流的格式捕获网络流量数据；基于特定的流格式和流导出器，提取额外属性，利用数值映射的方法将数据集的字符型数据转换为数值型数据，完成入侵检测数据集的构建。

4.根据权利要求1或2所述的基于CNN和SLTM的入侵检测方法，其特征在于对数据集进行预处理后映射为二维图像时，预处理过程具体包括：对原始数据集进行数据清洗、数据采样、数据归一化和数据图形化操作，得到符合模型输入标准的数据集。

5.根据权利要求4所述的基于CNN和SLTM的入侵检测方法，其特征在于在进行数据归一化时，使用均方差归一化方法，将数据映射到均值为0，方差为1的分布中，均方差归一化后的数据符合正态分布。

6.根据权利要求4所述的基于CNN和SLTM的入侵检测方法，其特征在于在进行数据图形化时，将数据映射为二维灰度图像。

7.根据权利要求1或2或5或6所述的基于CNN和SLTM的入侵检测方法，其特征在于在训练基于CNN和LSTM的入侵检测模型时，包括以下步骤：

依据预设迭代次数及预设批次大小，采用预设激活函数和预处理后数据集，依据预设比例随机划分数据集为训练集、验证集和测试集，对预先建立的基于CNN和LSTM的入侵检测网络进行训练，直至训练次数达到预设迭代次数，完成预先训练好的基于CNN和LSTM入侵检测模型的训练。

8.根据权利要求1或2或5或6所述的基于CNN和SLTM的入侵检测方法，其特征在于基于CNN和LSTM的入侵检测模型的CNN层，采用上分支卷积神经网络对样本进行粗化学习；采用下分支卷积神经网络对样本进行细化学习，将二分支卷积神经网络的输出合并成一层，作为LSTM的输入；在上分支和下分支卷积神经网络中的每个卷积层后添加BN层；卷积层的激活函数采用协同激活函数形式，将每一层的输出平均分为两部分，一部分使用Relu激活函数，另一部分使用LeakyRelu激活函数。

9.根据权利要求1或2或5或6所述的基于CNN和SLTM的入侵检测方法，其特征在于基于CNN和LSTM的入侵检测模型的LSTM层，提取样本时间特征，在其中加入Dropout层；将二分支卷积神经网络输出的空间特征转换为一维向量并输入到LSTM中用来学习样本的时序特征。

10.一种基于CNN和LSTM的入侵检测装置，其特征在于包括：

输入模块，用于输入需要检测的流量数据；

预处理模块，用于将输入的流量数据进行预处理后映射为二维图像；

检测模块，用于将预处理得到的二维图像输入到预先训练好的基于CNN和LSTM的入侵检测模型中；

输出模块，用于输出经入侵检测结果得到的流量数据的类型标签。

Images