CN113242207B - 一种迭代聚类的网络流量异常检测方法 - Google Patents

Abstract

本发明公开了一种迭代聚类的网络流量异常检测方法，包括网络流量历史数据预处理；网络流量样本数据降维；采用迭代聚类方法聚类，得到带伪标签的流量样本和检测异常网络流量四个步骤；具有能够处理大量数据、实时性强、灵活、扩展性强、鲁棒的实现实时且稳定的网络流量异常检测的特点。

Description

一种迭代聚类的网络流量异常检测方法

技术领域

本发明属于深度学习和网络安全的交叉领域，涉及一种迭代聚类的网络流量异常检测方法。

背景技术

互联网技术在各行业的普及为人们工作生活带来极大的便利，越来越多的业务和设备需要网络的支持，但同时，网络攻击的手段及规模也在发展，造成的损失和影响也越来越大，网络安全面临巨大威胁，入侵检测是当前各公司及政府部门主要防范网络安全威胁的主要手段之一。入侵检测是一类通过主动监控流量数据以识别攻击并发出警报的网络攻击检测方法。早期的入侵检测系统主要是通过人工识别特征码，再通过特征码检测技术实现，该方法易漏报新型攻击手段，随后出现了基于行为建模的检测方法，利用数据挖掘和机器学习等手段，但当网络流量较大时，模型需要的计算量较大，无法满足当前的需求，且该类方法需要预先标记大量数据，成本较大。近年来，深度神经网络优秀的学习能力和非线性优化能力，使得其在图像识别、语音识别、机器翻译和异常检测领域成果显著，在网络流量异常检测中引入人工智能技术，采用数据驱动的方式研究网络流量异常检测方法成为重点。

目前，通过学习数据本身的特征进行网络流量异常判别逐步替代了基于手工特征的异常流量检测技术，而基于深度神经网络的方法被认为是最合适的学习数据特征表达的方法。深度学习技术能够取得巨大成功，得益于数有效数据的积累和计算能力的提升。深度学习方法按照对数据的依赖程度不同可分为三类：监督学习、半监督学习和无监督学习，顾名思义，监督学习的训练数据依赖于带标签的数据训练模型，而无监督学习的所用的数据没有标签，半监督学习则只需要少量带标签数据即可，随着标签可用率的降低，模型性能也随之下降。Al-Qatf等提出结合稀疏自编码和支持向量机的入侵检测方法，但是针对大量数据的检测，支持向量机无法满足需求。Mirsky等人和Al-Hawawreh等人都采用自编码网络进行数据的无监督学习，但模型的训练过程漫长，且对新型攻击手段的发现能力不足。Mirza等人则是考虑引入时间维度进行特征提取，并融合自编码提取的特征，实现入侵检测，时间维度的引入会影响检测的实时性。

当基于深度神经网络的网络流量异常检测方法在真实网络环境中实施时，带标签数据稀少导致性能较好的监督学习模型不能采用，无监督学习模型因其可靠性不足得不到用户的认可，而网络流量数据量巨大，计算复杂的深度网络模型无法提供实时检测的需求。且考虑到流量数据特征较多，直接参与计算，会使得计算量急剧增加，且维度高会引起聚合度降低，进一步加大了特征学习的难度。Xiao等人提出采用CNN选择流量特征，并根据异常数据量设置每个类别的损失函数权重系数，解决类别不均衡问题，但是其过度依赖数据集，应用场景受限。

综上，在当前网络流量数据急剧增加的环境下，实现实时且稳定的网络流量异常检测方法，需要满足处理大量数据、实时性、灵活、扩展性强、鲁棒等需求。

发明内容

本发明针对大量无标签的网络流量样本数据，以及少量带标签的网络流量样本数据，通过训练得到入侵检测模型，用来对网络流量实时数据进行分类，检测出异常数据。

本发明采用的技术方案是：

一种迭代聚类的网络流量异常检测方法，包括以下步骤：

对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据；

构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据；

采用迭代聚类方法对降维后的流量样本数据进行聚类，得到聚类后的流量样本数据，再结合现有异常流量数据，对聚类后的流量样本数据打上伪标签，得到带伪标签的流量样本；

采用带伪标签的流量样本数据训练分类器，采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常的网络流量。

进一步的，所述对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据，具体为：

采用分层抽样的方式，对网络流量历史数据进行抽样按天或者小时进行抽样，得到网络流量抽样数据；

对网络流量抽样数据进行清洗，去除请求日期属性、时间戳属性和报文内容属性，将标识属性、流量类型属性、访问协议属性、请求类型属性以及攻击类型进行one-hot编码，得到网络流量样本数据。

进一步的，所述构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据，具体为：

采用预处理后的流量数据训练自编码网络，得到自编码降维模型，用于对网络流量数据进行降维；

使用自编码降维模型对训练数据进行降维操作，得到网络流量低维样本数据。

进一步的，所述采用迭代聚类方法对降维后的流量样本数据进行聚类，得到聚类后的流量样本数据，再结合现有异常流量数据，对聚类后的流量样本数据打上伪标签，得到带伪标签的流量样本，具体为：

将所述降维后的流量样本数据，记为簇A，聚类后得到两个簇，记为B、C；

采用评价函数S对簇A进行评价，得到评价结果S_A；

采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

采用评价函数S对簇B、C等进行评价，得到评价结果S_B、S_C；

若S_A小于S_B、S_C，则将得到的所有簇记为A₁、A₂、…、A_n，历史数据中带标签的网络流量样本数据中标签为异常的数据点记为N₁、N₂、…、N_n，dis(A_x，N_y)为簇A_x中所有点到点N_y的平均距离。取dis(A₁，N₁)、dis(A₁，N₂)、...、dis(A₁，N_i)中值最小的10组数据求平均值，小于一定阈值则给簇A₁赋予伪标签异常，否则赋予伪标签正，A₂、…、A_n赋予伪标签方式同A₁；

若S_A大于S_B，将簇B记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

若S_A大于S_C，将簇C记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C。

进一步的，所述步骤自编码网络由编码器和解码器2个部分组成，所述编码器由3层带激活函数的全连接网络组成，所述激活函数为Tanh，编码器用于将高维的网络流量样本数据以低维的形式表示；所述解码器由3层全连接网络组成，解码器用于将低维形式的数据重新还原成与输入相同的维度，编码器的输出数据是解码器的输入数据，自编码网络训练阶段采用的损失函数公式如下：

loss＝(decoded-original-data)²+λT_w

其中，decoded表示解码器输出，original_data表示原始流量样本数据，λ是正则项的系数，

是权重正则项，防止模型过拟合，L表示层数，I和J表示权重W的索引。

进一步的，所述评价函数S为：

其中，Count(·)表示计数函数，r和R代表聚类半径，且当计算簇A的S_A时，R的值等于簇A的半径，

进一步的，所述采用带伪标签的流量样本数据训练分类器，采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常的网络流量，具体为：

将网络流量实时数据样本输入编码器，由编码器输出的数据特征作为网络流量实时数据样本的扩展属性，连同带伪标签的网络流量数据构成新的样本S_N；

采用监督学习的方法，在样本S_N数据集上训练一个分类器，分类器选择多层感知机模型，网络层数设为3，神经元的个数与样本的数据特征个数相同，损失函数采用交叉熵损失，并带有权重正则项，优化算法选择随机梯度下降算法，并采取早停策略判断模型参数是否达到最优，模型训练停止后，得到最优检测模型；

对网络流量实时数据进行清洗，清洗方式与训练集相同，并将清洗后的网络流量实时数据输入编码器，输出的数据特征与原始特征组合后，输入检测模型，得到检测结果。

与现有技术相比，本发明所达到的有益效果为：

1、本发明所述的异常流量检测方法是采用无监督学习的方法，通过学习网络流量的表征，并基于该表征进行聚类以达到为流量数据标记伪标签的目的，采用带伪标签数据训练分类器，实现异常流量的检测，相比于直接采用无监督学习的方法训练的检测器更加简洁，能够满足大流量下的实时检测需求。

2、本发明所述的迭代聚类方法能够对一次聚类无法满足要求的缺陷进行改善，引入评价函数S实现迭代聚类。

3、本发明所述的分类器在训练和推断期间，输入的数据既包含预处理后的原始属性信息，也包含采用编码器提取的表征信息，提高了数据的利用率。

附图说明

图1为本发明的总流程图；

图2为本发明的自编码网络结构图；

图3为本发明方法的迭代DBSCAN流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种迭代聚类的异常流量检测方案，如图1所示，包括以下步骤：

步骤S1、对网络流量历史数据进行抽样并预处理，获得大量无标签的网络流量样本数据。

步骤S11、采用分层抽样的方式，按天或者小时进行抽样，然后按照以下两种方法处理：

①相同SessionID提取流量属性数据，一次会话会有多个流量产生，多个流量可统计出此次会话期间的流量条数、流间平均时间、流量正反向数据包的大小平均值、标准差、最大值、最小值和中位数等扩展属性。

②采用滑动窗口按时间段提取流量属性数据，是统计一段时间内的流量属性数据，如流量条数、流间平均时间、流量正反向数据包的大小平均值、标准差、最大值、最小值和中位数等属性。

由此得到网络流量样本数据。

步骤S12、对网络流量样本数据进行清洗，去除请求日期、时间戳、报文内容三个不必要的属性，将标识、流量类型、访问协议、请求类型属性及攻击类型进行one-hot编码，得到无标签的网络流量样本数据。

步骤S2、采用预处理后的样本数据训练自编码网络，采用训练得到的模型对网络流量样本数据进行降维。

步骤S21、如图2所示，设计一个自编码结构网络，用于训练降维模型。自编码网络由编码器和解码器2个部分组成；编码器由3层带激活函数的全连接网络组成(激活函数为Tanh)，编码器的任务是将高维的网络流量样本数据X_original以低维的形式表示，即中间特征表征V_mid；解码器由3层全连接网络组成，解码器的任务是将流量的低维特征表征V_mid还原为与输入相同维度的数据。编码器的输出是解码器的输入数据X_decoded。编码器与解码器中的全连接网络可采用一维卷积实现。该网络训练阶段采用的损失函数公式如下：

loss＝(X_decoded-X_original)²+λT_w

其中，X_decoded表示解码器输出，X_original表示原始流量样本数据，λ是正则项的系数，

是权重正则项，约束权重不要太大，L表示层数，I和J表示权重W的索引。

本实施例中，自编码网络的训练可以看作是对数据集的分布进行学习，自编码模块是学习数据分布的低维流形，得到数据的低维表征，实现降维的目的，而解码器是学习数据的重构，采用低维表征重构出原始数据，将原始数据与重构数据的差别作为一种损失，采用梯度下降算法优化网络参数，通过迭代训练，可以得到训练好的网络网络模型。

步骤S22、采用预处理后的流量数据输入自编码网络，采用梯度下降算法优化训练自编码网络，得到自编码降维模型。

步骤S23、采用自编码降维模型对预处理后的流量数据进行降维，得到网络流量数据的低维特征。

步骤S3、采用迭代DBSCAN聚类方法对降维后的流量样本数据进行聚类，结合现有异常流量数据的特点，对聚类后的流量样本数据添加伪标签。

如图3所示，本实施例的迭代DBSCAN流程图，其过程如下：

步骤S31、将步骤S23中得到的低维度数据记为簇A，聚类后得到两个簇，记为B、C。

步骤S32、采用评价函数S对簇A进行评价，得到评价结果S_A。评价函数S可定义为

其中，Count(·)表示计数函数，r和R代表聚类半径。当计算簇A的S_A时，R的值等于簇A的半径，

步骤S33、采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C等。

步骤S34、采用评价函数S对簇B、C等进行评价，得到评价结果S_B、S_C等。

步骤S35、若S_A小于S_B、S_C等，转至步骤S36；若S_A大于S_B，将簇B记为簇A，转至步骤S33，对该簇进行聚类；若S_A大于S_C等，将簇C记为簇A，转至步骤S33，对该簇进行聚类。

步骤S36、将得到的所有簇记为A₁、A₂、…、A_n，历史数据中带标签的网络流量样本数据中标签为异常的数据点记为N₁、N₂、…、N_n，dis(A_x，N_y)为簇A_x中所有点到点N_y的平均距离。取dis(A₁，N₁)、dis(A₁，N₂)、…、dis(A₁，N_i)中值最小的10组数据求平均值，小于一定阈值则给簇A₁赋予伪标签异常，否则赋予伪标签正常。A₂、…、A_n赋予伪标签方式同A₁。

本实施例中，

上述标签为异常的数据点来源于历史数据中极少数的带有异常标签的数据，其作为训练数据集之外的先验知识，为伪标签的赋值提供锚点。

步骤S4、采用伪标签与流量样本数据训练分类器；对网络流量实时数据进行预处理；采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常流量。

本实施例中，步骤S4中训练分类器具体包括：

步骤S41、将预处理后的样本输入编码器，输出的特征作为样本的扩展属性，连同带伪标签的数据构成新的样本S_N；

步骤S42、采用监督学习的方法，在样本S_N数据集上训练分类器，分类器可选择多层感知机模型，网络层数设为3，神经元的个数与样本的特征个数相同，损失函数采用交叉熵损失，并带有权重正则项，优化方法为梯度下降法。经过一定时间的训练，得到异常流量检测模型；

基于以上两个步骤，可以得到训练好的，能够用于异常流量检测的模型。

步骤S43、对实时数据进行预处理，预处理方法采用步骤S11提到的预处理方法，并将处理好的数据输入编码器得到特征，与原始属性数据组合后，输入步骤S42得到的异常流量检测模型，检测出实时流量数据中的异常数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种迭代聚类的网络流量异常检测方法，其特征在于，包括以下步骤：

对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据；

构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据；

将所述降维后的流量样本数据，记为簇A，聚类后得到两个簇，记为B、C；

采用评价函数S对簇A进行评价，得到评价结果S_A；

采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

采用评价函数S对簇B、C进行评价，得到评价结果S_B、S_C；

若S_A小于S_B、S_C，则将得到的所有簇记为A₁、A₂、…、A_n，历史数据中带标签的网络流量样本数据中标签为异常的数据点记为N₁、N₂、…、N_m，dis(A_x，N_y)为簇A_x中所有点到点N_y的平均距离，取dis(A₁，N₁)、dis(A₁，N₂)、...、dis(A₁，N_i)中值最小的10组数据求平均值，小于一定阈值则给簇A₁赋予伪标签异常，否则赋予伪标签正，A₂、…、A_n赋予伪标签方式同A₁；

若S_A大于S_B，将簇B记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

若S_A大于S_C，将簇C记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

采用带伪标签的流量样本数据训练分类器，采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常的网络流量。

2.根据权利要求1所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据，具体为：

采用分层抽样的方式，对网络流量历史数据进行抽样按天或者小时进行抽样，得到网络流量抽样数据；

对网络流量抽样数据进行清洗，去除请求日期属性、时间戳属性和报文内容属性，将标识属性、流量类型属性、访问协议属性、请求类型属性以及攻击类型进行one-hot编码，得到网络流量样本数据。

3.根据权利要求2所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据，具体为：

采用预处理后的流量数据训练自编码网络，得到自编码降维模型，用于对网络流量数据进行降维；

使用自编码降维模型对训练数据进行降维操作，得到网络流量低维样本数据。

4.根据权利要求3所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述步骤自编码网络由编码器和解码器2个部分组成，所述编码器由3层带激活函数的全连接网络组成，所述激活函数为Tanh，编码器用于将高维的网络流量样本数据以低维的形式表示；所述解码器由3层全连接网络组成，解码器用于将低维形式的数据重新还原成与输入相同的维度，编码器的输出数据是解码器的输入数据，自编码网络训练阶段采用的损失函数公式如下：

loss＝(decoded-original_data)²+λT_w

其中，decoded表示解码器输出，original_data表示原始流量样本数据，λ是正则项的系数，

是权重正则项，防止模型过拟合，L表示层数，I和J表示权重W的索引。

5.根据权利要求1所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述评价函数S为：

其中，Count(·)表示计数函数，r和R代表聚类半径，且当计算簇A的S_A时，R的值等于簇A的半径，r＝αR，其中，1/2＜α＜1。

6.根据权利要求4所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述采用带伪标签的流量样本数据训练分类器，采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常的网络流量，具体为：

将网络流量实时数据样本输入编码器，由编码器输出的数据特征作为网络流量实时数据样本的扩展属性，连同带伪标签的网络流量数据构成新的样本S_N；

采用监督学习的方法，在样本S_N数据集上训练一个分类器，分类器选择多层感知机模型，网络层数设为3，神经元的个数与样本的数据特征个数相同，损失函数采用交叉熵损失，并带有权重正则项，优化算法选择随机梯度下降算法，并采取早停策略判断模型参数是否达到最优，模型训练停止后，得到最优检测模型；

对网络流量实时数据进行清洗，清洗方式与训练集相同，并将清洗后的网络流量实时数据输入编码器，输出的数据特征与原始特征组合后，输入检测模型，得到检测结果。

Images