CN111556017B - 一种基于自编码机的网络入侵检测方法及电子装置 - Google Patents

Abstract

本发明提供一种基于自编码机的网络入侵检测方法及电子装置，该方法包括：读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵；提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵；将所述袋特征矩阵逐一输入预训练自编码机，计算各特征矩阵输入数据与输出数据的根方差，并根据一阈值判读各流袋中流量是否为正常流量。本发明不依赖于流量标签，也不需要采集足够的攻击流量用于模型训练，更适用于大数据下分布式计算场景，其检测时效率与准确率远高于现有技术。

Description

一种基于自编码机的网络入侵检测方法及电子装置

技术领域

本发明涉及信息安全领域，尤其涉及一种基于自编码机的网络入侵检测方法及电子装置。

背景技术

网络入侵检测系统以旁路部署为主，位于网络关键位置，用于检测所有进出保护网络范围内的网络流量。网络入侵检测系统根据主要关注的流量不同而划分为三类：基于标志的(signature-based)入侵检测，主要关注攻击流量；基于异常的(abnormaly-based)入侵检测，主要关注正常流量；以及混合入侵检测，同时关注正常和攻击流量。近年来，机器学习技术被引入到入侵检测领域，具备良好的检测能力。例如中国发明CN109347872A公开了一种基于模糊度和集成学习的网络入侵检测方法，其从原始流量数据中提取出能够反映流量特性的基本特征数据，对提取的数据进行预处理，多次随机划分预处理后的基本特征数据，得到若干训练样本子集，采用基于模糊度的半监督ELM算法构建并训练若干个基分类器，采用集成算法对训练好的基分类器进行结合，得到最终的入侵检测模型，进行网络入侵检测。但该方法为基于单一流量的检测方案，对未知攻击的检测能力提升有限，无法完成大数据下分布式计算场景。

监督学习方法是常用的一类用于入侵检测的机器学习方法，Bartos等人提出使用袋特征(bag feature)表达，基于SVM分类器识别攻击流量。该方法对未知攻击流量具备检测能力(Bartos K,Sofka M,Franc V.Optimized Invariant Representation of NetworkTraffic for Detecting Unseen Malware Variants[C]//USENIX Security Symposium2016.2016.)。

由于入侵检测的应用场景，常无法满足监督学习对样本采集要求，无监督学习方法也被用于入侵检测中。Blowers等人使用基于密度的聚类算法DBSCAN对正常网络数据包与异常网络数据包进行分组(Blowers M,Williams J.Machine learning applied tocyber operations.Network Science and Cybersecurity.Springer,New York,USA,2014:155-175)。Mirsky等人提出了一个用于在线网络入侵检测的解决方案，该方案使用聚类算法对流量特征进行分组，利用自编码机的特征学习能力学习不同分组下的特征表达，通过集成学习得到检测结果(Mirsky,Yisroel &Doitshman,Tomer &Elovici,Yuval &Shabtai,Asaf.(2018).Kitsune:An Ensemble of Autoencoders for Online NetworkIntrusion Detection.10.14722/ndss.2018.23211.)。

监督学习方法依赖流量标签，且对不同类型的数据分布有要求，因此要求有足够的攻击样本。而在实际应用场景中往往无法采集到足够的攻击样本，且对攻击流量的标记也比较困难；

传统的无监督学习方法主要是聚类方法和异常点检测方法。在模型训练阶段，传统方法需要对所有训练数据进行全局计算，不能很好应对大数据环境；在模型检测阶段，聚类算法无法处理大数据场景，同时，传统方法普遍存在模型更新不灵活的问题，无法适应复杂多变的网络环境。

发明内容

为克服现有技术的不足，本发明提供一种基于自编码机的网络入侵检测方法及电子装置，使得在大数据场景下，面对复杂多变的网络环境，检测模型可进行灵活更新，并具备高效检测流量类型的能力。

本发明采用的技术方案如下：

一种基于自编码机的网络入侵检测方法，其步骤包括：

1)读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵；

2)提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵；

3)将所述袋特征矩阵逐一输入预训练自编码机，计算各特征矩阵输入数据与输出数据的根方差，并根据一阈值判读各流袋中流量是否为正常流量。

进一步地，所述HTTP会话信息根据用户名和访问域名划分。进一步地，所述分配的步骤包括：

1)根据每一所述HTTP会话信息的起止位置，将该HTTP会话信息依次放入可存一设定流量数量区间的流袋中；

2)当一所述HTTP会话信息的流量条数小于所述设定流量数量区间的下限，则放弃该HTTP会话信息的流量条数；

3)当一所述HTTP会话信息的流量条数位于小于所述设定流量数量区间中，则将该HTTP会话信息的流量放入一流袋中；

4)当一所述HTTP会话信息的流量条数大于所述设定流量数量区间的上限，则将前设定流量数量区间上限数量的HTTP会话信息放入一流袋，其余HTTP会话信息的流量放入下一个流袋中。

进一步地，对所述流袋矩阵每一维数据进行归一化处理，得到所述缩放不变性特征。

进一步地，使用直方图法对所述缩放不变性特征表达，得到所述大小与序列不变性特征。

进一步地，所述预训练编码机的网络结构包括输入层、隐藏层和输出层；所述每一隐藏层节点的激活函数为sigmoid函数。

进一步地，训练所述预训练自编码机的步骤包括：

1)读取并驻留样本正常流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干样本流袋矩阵；

2)提取每一所述样本流袋矩阵的缩放不变性特征与序列不变性特征，得到各流袋的得到样本特征矩阵；

3)将若干所述样本特征矩阵逐批次迭代输入一初始化自编码机，得到所述预训练自编码机。

进一步地，所述阈值的获取步骤包括：

1)将各所述样本特征矩阵分别输入所述预训练自编码机，计算样本特征矩阵输入数据与输出数据的均方根误差；

2)将各所述均方根误差排序，并根据一设定阈值选取置信度，得到所述阈值。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序执行上述方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。

与现有技术相比，本发明提出了一种基于自编码机的网络入侵检测方法及电子装置，其有益效果为：

1)自编码机是一类无监督学习方法，且基于正常流量进行建模，因此不依赖于流量标签，也不需要采集足够的攻击流量用于模型训练；

2)自编码机的训练采用逐批次多轮迭代的方法，更适用于大数据下分布式计算场景；

3)基于自编码机的方法在检测时效率远高于现有技术；

4)基于自编码机的方法在检测准确率上高于现有技术；

5)自编码机的逐批次训练为模型提供了在线更新的能力，可提供更灵活和快速的模型更新。

附图说明

图1为本发明中自编码机的结构图。

图2为本发明中分别在训练模式和检测模式下，对原始流量进行袋特征提取，并使用自编码机进行模型训练/流量检测的流程图。

图3为本发明中通过训练得到自编码机模型后，通过训练集计算得到模型的检测阈值的流程图。

具体实施方式

为使本发明的目的、原理、技术方案和优点更加清晰明白，以下将结合具体实施例，并参照附图对本发明做详细的说明。

本发明的技术关键点在于：

1)自编码机的输入是流袋特征向量，而非单一流量特征向量；

2)自编码机是一个无监督学习模型，训练时只使用正常流量数据。它的优化目标由计算自身输入输出数据的均方根误差得到；

3)自编码机进行流量检测时，输出的是对输入待检测流量的特征表达，须计算当前流量的均方根误差后，与训练得到的阈值进行大小比较才能得到检测结果；

4)自编码机分为训练和检测两种工作模式，在训练模式下，模型参数随着逐批次数据迭代而更新；在检测模式下，模型参数固定，输出待检测数据的特征表达。

本发明提供的基于自编码机的网络入侵检测方法，适用于将采集到的流量数据进行数据预处理后，对得到的格式化数据进行数据分析从而检测网络入侵行为，该方法采用了基于异常的入侵检测策略，其主要步骤包括：根据HTTP报文信息，对流量进行流袋划分，并对每个网络流袋提取其袋特征，提取后的结果数据将输入到自编码机得到特征表达，通过衡量它与正常流量特征表达的差异进行流量检测。对于自编码机，存在训练和检测两个工作模式，前者输入训练用的正常流量数据，训练得到正常流量模型；后者输入待检测流量数据，将输出已有模型下对待检测流量的特征表达。

该方法中的流袋根据HTTP会话进行划分，同一会话的流量数据划分到同一流袋。HTTP会话则通过用户名和访问域名进行区分。

该方法中的袋特征，是指满足缩放不变性和大小不变性与序列不变性的流袋特征。其中，缩放不变性指当数据范围整体发生线性变化时，袋特征表达不会发生变化，具体的方法是使用归一化方法对数据进行处理。大小不变性是指所有袋特征矩阵维数一致；而序列不变性则指流袋内的流量发生顺序不影响特征表达。上述两点不变性特征采用直方图表示法使得满足。直方图表示法是指将离散的数据划分为若干区间，统计各区间得到新的特征向量的方法。

该方法使用的自编码机，主要基于对称的网络结构，由输入层、隐藏层和输出层构成。对于每层隐藏层节点，其激活函数为sigmoid函数。输出层将输出自编码机学习后的特征表达。自编码机利用编码和解码的思想进行特征表达，以输入和输出的均方根误差(RMSE)作为模型特征表达能力的评估值，其计算方法如式(1)所示,其中M为输入向量的维数，当输入为t*n_dim维袋特征矩阵时，将矩阵平铺后生成M＝t*n_dim维输入向量。自编码机的具体网络结构如图1所示。

该方法的自编码机有两种工作模式，即训练模式和检测模式。在训练模式中，向模型逐批次输入完成袋特征提取的正常流量数据，通过多轮迭代得到具备表达能力的自编码机和均方根误差阈值并保存，用于之后的检测；在检测模式中，对待检测的流量提取袋特征，输入到已训练好的自编码机中，得到自编码机的表达结果，通过比较当前RMSE和阈值的大小，判断当前流袋是否正常。

下面结合图2具体说明本发明、

实施例1基于自编码机的网络入侵检测方法

在训练模式下，对自编码机进行训练，使其具备正常流量特征表达能力。现有已经过预处理的流量矩阵M，该矩阵中的向量全部为正常流量向量。

流量矩阵如下所示：

其中，m为列号，n为行号。

对矩阵M进行如下操作，完成本方法的自编码机模型训练：

1)对矩阵进行流袋划分。设置流袋内最多流量条数大小max_bagsize＝50和最少流量条数大小min_bagsize＝5，读取每个会话的起止位置，将会话按照bagsize大小划分为若干个流袋。

划分的具体规则如下：

a)若当前会话中，流量条数n<min_bagsize，则放弃处理该会话；

b)若当前会话中，流量条数n有：min_bagsize<＝n<＝max_bagsize，则将当前会话中的流量划入一个流袋中；

c)若当前会话中，流量条数n有：n>max_bagsize，则将max_bagsize条流量划入一个网络流袋，剩余的流量继续按照流袋划分规则进行流袋划分。

2)对每个划分好的流袋矩阵A提取袋特征。提取步骤如下：

a)提取缩放不变性特征。对袋矩阵A，按照式(2)对每一维数据进行归一化处理，得到A_std。其中l为流量下标，k为流量特征下标；

b)提取序列不变性特征，使用直方图表示法进行特征表达。按照式(3)，其中，λ为直方图表示函数，d为流袋内流量条数，b为欲划分的区间数，θ表示直方图区间划分时的划分值向量，为(b+1)维向量。即λ函数为将某d维向量，通过(b+1)维的θ划分，映射为一个b维向量的函数；z为待进行直方图表示的d维列向量，对于有n维流量特征的流袋而言，共n条待处理的向量，j为列向量z的下标；对矩阵

的直方图表示方法最后将每一维流量特征向量的处理结果拼接为一个袋特征矩阵

设置直方图表示法区间数b＝t，对A_std使用直方图法进行特征表达，得到t×n_dim维矩阵A_mean。

3)初始化自编码机模型。设置自编码机的网络结构；

4)设置自编码的基本参数。训练时采用逐批次迭代训练的方式，设置每批次样本数量batchsize＝64，设置对全样本重复计算轮数epoch＝25，设置学习率随训练进行而指数递减；

5)将步骤2中得到的袋特征矩阵X_mean输入到自编码机进行训练，训练完成后得到训练后的自编码机模型，该模型参数保存为Θ。

λ:R^d×R^t+1→R^t

实施例2基于自编码机的网络入侵检测方法

请参考图3，完成自编码机模型的训练后，需要计算均方根误差阈值用于流量检测。假设训练使用的流量矩阵为M。

对矩阵M进行如下操作，得到本方法的检测阈值：

1)按实施例1步骤1-2进行流袋划分和袋特征提取，得到当前自编码机模型训练用矩阵X_mean；

2)设置自编码机的网络结构。

3)加载已训练好的模型参数Θ,根据对训练集中噪声率的估计设置阈值选取置信度α，其中α取值范围是[0,1.0]，输入矩阵X_mean(设矩阵X_mean中包含n个流袋)得到检测阈值ф：

a)计算X_mean中每个流袋X_mean_i在当前自编码机模型下的均方根误差l_i；

b)对所有n个l_i值升序排序，根据阈值系数(1-α)，选择第n*(1-α)个l_i值为阈值ф。

实施例3基于自编码机的网络入侵检测方法

完成自编码机模型训练，并利用实施例2给出的步骤得到RMSE阈值ф后，可对流量进行检测。现有通过预处理的待检测流量矩阵M，其中含若干正常流量，若干攻击流量。对M进行流量检测的流程如下：

1)设置流袋最小流量条数min_bagsize和最大流量条数max_bagsize，读取并驻留每条流量的会话信息，并按照会话信息划分待检测流袋，划分规则与实施例1中步骤1一致；

2)由步骤1划分得到流袋矩阵A，使用实施例1中步骤2方法提取袋特征，得到特征矩阵A_mean；

3)设置自编码机的网络结构。加载已训练好的模型参数Θ,RMSE阈值ф；

4)将待检测袋矩阵A_mean输入到CNN模型中进行检测：

5)计算当前矩阵的均方根误差loss；

6)当loss≦ф时，认为流量为正常流量；当loss>ф时，认为流量为攻击流量。

实验数据

在相同实验环境下对相同数据使用本方法和孤立森林方法(Liu F T,Ting K M,Zhou Z H.Isolation forest[C]//2008Eighth IEEE International Conference onData Mining.IEEE,2008:413-422.)进行对比。对于本方法，训练用时为277s；对于孤立森林，训练用时为745s。在检测流量时，各选择5000条流量进行检测。对于本方法，用时为137s；对于孤立森林，检测用时为1114s。由此可证明本方法在训练和检测(特别是检测)时，效率得到大幅提升。

对提取袋特征后的数据使用本方法和孤立森林方法进行对比，本方法对正常流量的检测准确度为80％，对攻击流量的检测准确度为96％；孤立森林方法对正常流量的检测准确度为70％，对攻击流量的检测准确度为73％。由此可证明本方法在检测准确率上得到了明显提升。

以上所述实施例仅为更好的说明本发明的目的、原理、技术方案和有益效果。所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于自编码机的网络入侵检测方法，其步骤包括：

1）读取并驻留待检测流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干流袋矩阵；

2）提取每一所述流袋矩阵的缩放不变性特征和大小与序列不变性特征，得到各流袋的袋特征矩阵，其中对所述流袋矩阵每一维数据进行归一化处理，得到所述缩放不变性特征，使用直方图法对所述缩放不变性特征表达，得到所述大小与序列不变性特征；

3）将所述袋特征矩阵逐一输入预训练自编码机，计算各特征矩阵输入数据与输出数据的均方根误差，并根据一阈值判读各流袋中流量是否为正常流量；

其中，所述分配的步骤包括：

a）根据每一所述HTTP会话信息的起止位置，将该HTTP会话信息依次放入可存一设定流量数量区间的流袋中；

b）当一所述HTTP会话信息的流量条数小于所述设定流量数量区间的下限，则放弃该HTTP会话信息的流量条数；

c）当一所述HTTP会话信息的流量条数位于所述设定流量数量区间中，则将该HTTP会话信息的流量放入一流袋中；

d）当一所述HTTP会话信息的流量条数大于所述设定流量数量区间的上限，则将前设定流量数量区间上限数量的HTTP会话信息放入一流袋，其余HTTP会话信息的流量放入下一个流袋中。

2.如权利要求1所述的方法，其特征在于，所述HTTP会话信息根据用户名和访问域名划分。

3.如权利要求1所述的方法，其特征在于，所述预训练自编码机的网络结构包括输入层、隐藏层和输出层；每一隐藏层节点的激活函数为sigmoid函数。

4.如权利要求1所述的方法，其特征在于，训练所述预训练自编码机的步骤包括：

1）读取并驻留样本正常流量矩阵的每条流量，并根据各流量的HTTP会话信息与信息排序分配至若干可存一设定流量数量区间的流袋中，得到若干样本流袋矩阵；

2）提取每一所述样本流袋矩阵的缩放不变性特征与序列不变性特征，得到各流袋的得到样本特征矩阵；

3）将若干所述样本特征矩阵逐批次迭代输入一初始化自编码机，得到所述预训练自编码机。

5.如权利要求4所述的方法，其特征在于，所述阈值的获取步骤包括：

1）将各所述样本特征矩阵分别输入所述预训练自编码机，计算样本特征矩阵输入数据与输出数据的样本均方根误差；

2）将各所述样本均方根误差排序，并根据一设定阈值选取置信度，得到所述阈值。

6.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-5中任一所述方法。

7.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任一方法。

Images