CN115913691A - 一种网络流量异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种网络异常流量识别方法及系统。本发明是根据动态环境下网络流量中正常流量和已知异常流量在神经网络模型中识别置信度分数累积分布函数接近于1而未知异常流量置信度分布为均匀分布的特点，在基于深度学习的网络流量异常检测模型的基础上新增一个基于深度学习的二元判别器，以判断出动态网络流量中的哪些属于未知异常流量，再将得到的未知网络流量集合聚类标记，得到带新型网络流量异常标签的新数据集，网络流量异常检测模型根据网络新增异常频率情况人工设定周期时间定期地训练新数据集更新模型状态，以达到提升在动态网络环境中对未知的新型异常网络流量识别的准确度的效果。

Description

一种网络流量异常检测方法及系统

技术领域

本发明涉及网络技术领域，尤其涉及了一种网络流量异常检测方法及系统。

背景技术

随着互联网和通信设备的快速发展，网络安全威胁不断增加，网络流量异常检测能够及时发现网络中的未知攻击并采取防护措施，对于防止网络攻击行为的发生、维护网络空间的安全等有着重要的意义。

网络异常流量是指与网络服务质量(QoS)有差异的流量。硬件上的网络设备故障以及人为的恶意攻击都会导致网络流量异常。例如，黑客使用密码破解、系统漏洞与欺骗、端口扫描、拒绝服务攻击或其他的网络攻击行为等。

目前已有相关技术研究网络流量异常检测，但是现有技术大都基于网络流量数据类型分布相同，而现实的网络环境具有动态变化的特点，其中包括数据分布和攻击类型，新型攻击类型的出现使得数据分布和构建模型使用的数据不一致，导致现有技术对新型异常类型检测准确率低、误报率高的问题，那么根据历史静态数据构建好的模型在新的动态网络中将不再适用。

发明内容

本发明所要解决的技术问题在于针对背景技术所指出的不足，提供一种网络流量异常检测方法及系统，以在网络活动期间可以定期自动更新基于深度学习的网络流量异常检测模型，提升模型在动态网络环境中对未知的新型异常网络流量识别的准确度。

本发明为解决上述技术问题而采用以下技术方案实现：

本发明包括以下步骤：

步骤1.获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，并将历史网络流数据集进行预处理生成数据集D_h，用于卷积神经网络模型的流量异常检测训练；

所述数据预处理包括特征提取、特征预处理；

其中特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征；

其中特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行；

步骤2.构建卷积神经网络模型用于网络流量异常检测；所述卷积神经网络模型由卷积层、池化层、全局平均池化层和softmax层组成；

通过数据集D_h对卷积神经网络模型进行训练，模型训练完成后采集从检测开始时时间段t内网络流量数据D_t进行步骤1的数据预处理后，作为输入对网络流进行识别，得到网络流对应各个异常流量类别的置信度分数的集合S；

步骤3.利用深度学习中置信度分数累积分布函数特性和其精度边界参数β从置信度分数集合S中过滤出未知异常网络流集合F_n ^l；

步骤4.通过主成分分析对步骤3得到的未知异常网络流集合F_n进行特征提取来降低特征维度；；

步骤5.利用步骤4中提取的特征，采用K-means算法进行聚类得到最优聚类模型；将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中；

步骤6.利用数据集D_t+1重新对步骤2中卷积神经网络模型进行训练，并采用迁移学习迁移当前模型参数以简化训练过程，所述数据集D_t+1由数据集D_t、未知异常网络流集合F_n和异常标签集l_n组成；

步骤7.根据网络新增异常频率情况，设定周期时间，定期地重复执行步骤3到步骤6，以更新卷积神经网络模型训练状态，提升卷积神经网络模型在动态网络环境中对新型异常流量识别的准确度。

本发明的有益效果：本发明提出了一种网络流量异常检测方法，可以过滤未知异常的网络流并将它们聚类到相应的异常类别。过滤后的网络流及其分配的异常标签以及现有类的网络流被组合以产生一个新的数据集来更新异常检测模型。具有对动态网络中未知异常网络流进行检测的能力。

附图说明

图1为本发明中的网络流量异常检测流程图；

图2为本发明中的GCNN模型训练分类流程图

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

本发明的整体构思：根据动态环境下网络流量中正常流量和已知异常流量在神经网络模型中识别置信度分数累积分布函数接近于1而未知异常流量置信度分布为均匀分布的特点，在基于深度学习的网络流量异常检测模型的基础上新增一个基于深度学习的二元判别器，以判断出动态网络流量中的哪些属于未知异常流量，再将得到的未知网络流量集合采用K-means进行聚类标记，得到带新型网络流量异常标签的新数据集，网络流量异常检测模型定期地通过训练新数据集更新模型状态，以达到提升流量异常检测模型在动态网络环境中对未知的新型异常网络流量识别的准确度的效果。

如图1所示，本发明所涉及的系统可分为网络流量数据预处理模块，基于深度学习的网络流量异常检测模块、未知异常流量识别模块和未知异常流量标记模块。

网络流量数据预处理模块：网络流量数据预处理模块以不同网络活动产生的长度不等的网络流作为输入，为了满足深度神经网络的矩阵数据输入格式要求，对网络流数据进行预处理，包括特征提取以及特征预处理两个部分，特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征，特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，和对特征值缺失数据进行删除处理。每个网络流对应一个类别，不同网络攻击产生的网络流属于不同的异常类别。

基于深度学习的网络流量异常检测模块：如图2所示基于深度学习的网络流量异常检测模块首先根据带攻击标签的历史网络流量数据进行训练，再以动态网络流量作为输入，从输入预处理动态网络流量数据中提取特征，然后通过计算现有异常流量类别的分类概率进行识别。根据改进的卷积神经网络模型的识别结果可以得到不同网络流的置信度分数，其中网络流包括正常流量、已知和未知异常网络流量。所有网络流的置信度分数组成的集合表征作为未知异常流量识别模块过滤未知异常流量的分组样本。

未知异常流量识别模块：未知异常流量识别模块是一个基于深度学习的二元判别器，用于区分已知和未知异常网络流。根据现有正常流量和已知异常流量置信度累积分布函数接近于1而未知异常流量置信度分布为均匀分布的特点，首先由基于深度学习的网络流量异常检测模块得到的置信度分数集合中每个网络流的置信度是否小于其累计分布函数的识别精度边界来判断是否为未知的异常流量类，然后将现有的已知类和上述的未知异常流量类作为训练样本对判别器进行训练，再通过判别器将置信度分数高于精度边界的剩余网络流进行识别，最终可以得到未知异常流量类网络流的集合。

未知异常流量标记模块：虽然未知异常网络流可以判别器过滤，但这些网络流的实际标签仍然需要分配，以便为模型更新构建新的训练集。首先，通过主成分分析法从未知异常流量中提取网络流的特征并进行特征降维。然后，将降维后的特征聚类到不同的组中并相应地标记它们。最后将新标记数据集与旧数据集合并，并采用迁移学习方案同步更新网络流量异常检测模块。

本发明提出的一种网络流量异常检测方法，具体步骤如下：

步骤1.获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，其中网络流为具有相同IP五元组一组连续的数据包，并将历史网络流数据集进行预处理生成数据集D_h，用于卷积神经网络模型的流量异常检测训练。

具体地，数据预处理包括特征提取、特征预处理，特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征。特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行。

步骤2.构建一个通过全局平均池化层代替CNN全连接层的卷积神经网络模型(GCNN)用于网络流量异常检测。其中全局平均池化特征图对应输出的特征值公式为：表示对特征图中每个像素值x_ij进行求和，除以特征图大小m·n，得到特征值y。

通过历史数据集D_h对卷积神经网络模型进行训练，模型训练完成后采集从检测开始时时间段t网络流量数据D_t进行步骤1的预处理后作为输入对网络流进行识别，得到网络流对应各个异常流量类别的置信度分数的集合S；

置信度分数集合S为：

步骤3.利用深度学习中置信度分数累积分布函数特性和其精度边界参数β从集合S中过滤出未知异常网络流集合

具体地，取当前网络流置信度分数集合S中最大置信度分数当时，网络流i将被视为已发现的未知异常类别，令表示这些网络流的集合。

具体再通过已知正常和异常网络流、未知异常网络流集合对基于深度学习的二元判别器进行训练，并将集合S中剩余数据对应的网络流进行判别，最终将判别出的未知异常网络流集合和合并得到总的未知异常网络流集合F_n。

步骤4.通过主成分分析(PCA)对步骤3得到的未知异常网络流集合F_n进行特征提取来降低特征维度。本发明采用主成分分析特征提取方案来降低特征的维数以实现对未知异常网络流高效的聚类。

步骤5.利用步骤4中提取的特征采用K-means算法进行聚类得到最优聚类模型。将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中。

具体地，对于自主聚类，应用贝叶斯信息准则(BIC)来找到最佳簇数。

步骤6.利用数据集D_t+1(由数据集D_t和F_n，l_n组成)重新对步骤2中神经网络模型进行训练，并采用迁移学习迁移当前模型参数以简化训练过程。

步骤7.根据网络新增异常频率情况人工设定周期时间定期地重复执行步骤3到步骤6，以更新模型训练状态，提升神经网络模型在动态网络环境中对新型异常流量识别的准确度。

下面分别对上述实施步骤进行详细说明。

(1)步骤1

获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，其中网络流为具有相同IP五元组一组连续的数据包，并将历史网络流数据集进行预处理生成数据集D_h，用于基于神经网络的流量异常检测训练。

具体地，数据预处理包括特征提取，特征预处理。

特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征。

TCP连接基本特征包括：连接的持续时间、协议类型、连接目的端的网络服务、从源主机到目的主机数据的字节数、从目的主机到源主机数据的字节数、连接来自/到同一主机/端口。

TCP连接的内容特征包括：访问系统敏感文件和目录的次数、登录尝试失败的次数、使用shell命令的次数、root用户访问次数、文件创建操作的次数、问控制文件的次数。

基于时间的网络流量统计特征包括：过去两秒内，与当前连接具有相同的目标主机的连接数、过去两秒内，与当前连接具有相同服务的连接数、过去两秒内，在与当前连接具有相同服务的连接中，与当前连接具有不同目标主机的连接的百分比。

基于主机的网络流量统计特征包括：前50个连接中与当前连接具有相同目标主机的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接所占的百分比、前50个连接中与当前连接具有相同目标主机不同服务的连接所占的百分比以及前50个连接中与当前连接具有相同目标主机相同源端口的连接所占的百分比。

特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行。

(2)步骤2

深度学习神经网络采用改进的卷积神经网络模型(GCNN)，传统的CNN由卷积层、池化层、全连接层和softmax层组成，而本发明采用的GCNN是使用全局平均池化层代替全连接层对CNN进行优化。首先将经过预处理的网络流图像矩阵数据作为GCNN模型输入。对于二维矩阵格式的网络流样本，卷积层通过卷积核执行特征提取，每个卷积层通过卷积核处理如下：

其中，*为卷积算子，k表示卷积核顺序数，l为输入的通道号，W和H为卷积核的宽度和长度，w和q是相应通道中的权重和偏差。

卷积层的输出由非线性整流器线性单元(ReLU)激活，与其他激活函数相比，它提供了更快的训练过程并有助于避免梯度消失问题。ReLU的激活过程表示为：

x[i][j][k]＝max(0,c[i][j][k])

然后将输出结果附加到全局平均池化层以进行降维，由于传统CNN模型中的全连接层产生的参数占总模型参数比重过大，导致迭代时的计算量增加，且容易引起过拟合，影响整个模型的泛化能力。本发明使用全局平均池化层代替全连接层对CNN进行优化，全局平均池化层降维后生成特征图。全局平均池化特征图对应输出的特征值公式为：

其中m·n表示特征图的大小，x_ij表示特征图的值。

然后由Softmax层将全局平均池化层非归一化的输出映射到预测类别上的概率分布，提供最终的识别结果，为网络流对应各个异常流量类别的置信度分数的集合S，其中S为：

其中y为连接到Softmax层的最后一个全局平均池化层的输出向量，S_n为第n个异常类别的识别概率。

(3)步骤3

首先定义β为识别模块识别精度的边界，同时也为区分已知异常流量类别和未知异常流量类别置信度分数的边界，取当前网络流置信度分数集合S中最大置信度分数当时，类别i将被视为已发现的未知异常类别，令表示这些网络流的集合，其中l表示是所有已发现异常类的网络流集合F_n的置信度分数位于边界的左侧部分。

将已知类别数据集D_t和未知类别数据集作为训练样本对基于深度学习的二元判别器进行训练。为了避免发生误识别的情况，需要通过训练好的二元判别器将高于置信度分数边界θ的剩余网络流进行识别，识别为未知异常类的网络流插入集合中。最后将集合与集合合并得到总的未知异常类网络流集合F_n。

(4)步骤4

基于异常识别模型的设计，本发明采用主成分分析(PCA)特征提取方案来降低特征的维数以实现高效的聚类。

特征图是通过将F_n中的通过过滤网络流的识别器从全局平均池化层获得的。它们包含未知异常类别的网络流与先前用于训练识别器的网络流之间的隐藏相关性。这种隐藏的相关性可以作为先验知识用于聚类。

令Y∈R^W×V是从F_n中的V个网络流获取到的特征图的组合，使得：

其中y_v是F_n中第v个网络流的特征向量，总共包含W个特征值。然后将y_w,v进行归一化处理，如下所示：

如果y_V是0向量，则归一化的结果将为0。协方差矩阵定义如下：

其中μ_v是y_V的平均值。然后计算G的特征向量U＝[U₁,U₂,...,U_W]以满足(λI-G)U＝0，其中λ＝[λ₁,λ₂,...,λ_W]是按降序重排列的特征值，即λ₁≥λ₂≥...≥λ_W。所提取到的主成分H如下：

H＝U^TY

可以选择H的前q列作为特征集Y的主成分表示，其中q为提取的主成分的维度。

(1)步骤5

将提取到的特征聚类到几个组中，这些组代表同一组中的网络流之间存在的高度相似性。本发明采用K-means算法进行聚类。

假设聚类后发现的第i个类的质心(簇的中心)标记为Oⁱ，计算如下：

其中|N_i|是N_i类中的样本总数。来自两个异常的网络流量的主成分之间的相似性可以通过它们的欧几里德距离来衡量，计算如下：

d越小表示关系越密切，d值越大表示它们之间的相似度越低。收敛的质心将用于对F_n中的数据包进行聚类。聚类模型的目标函数定义如下：

对于自主聚类，应用贝叶斯信息准则(BIC)来找到最佳簇数，记为K。本发明提出的聚类问题中的BIC计算如下：

其中V是F_n中要聚类的样本数，k是用于枚举的簇的索引，R是平方根误差之和。令K_max为组的上限，使得K_max≤V。其中K_max根据网络环境来定义。在索引k的每个测试中，计算一个BIC值用于聚类模型评估。在完成k从1到K_max的所有枚举之后，聚类模型提供的BIC减少最多的被认为是最优的，并且其中包含的簇的数量是最优的簇数。

最后将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中。

(6)步骤6

用新数据集D_t+1(由旧数据集D_t和F_n，l_n组成)重新对步骤2中神经网络模型进行训练，并采用迁移学习迁移当前模型参数以简化训练过程。

(7)步骤7

定期重复执行步骤3到步骤6，以更新神经网络模型训练状态，提升神经网络模型在动态网络环境中对新型异常流量识别的准确度。

Claims (8)

1.一种网络流量异常检测方法，其特征在于该方法包括以下步骤：

步骤1.获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，并将历史网络流数据集进行预处理生成数据集D_h，用于卷积神经网络模型的流量异常检测训练；

所述数据预处理包括特征提取、特征预处理；

其中特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征；

其中特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行；

步骤2.构建卷积神经网络模型用于网络流量异常检测；所述卷积神经网络模型由卷积层、池化层、全局平均池化层和softmax层组成；

通过数据集D_h对卷积神经网络模型进行训练，模型训练完成后采集从检测开始时时间段t内网络流量数据D_t进行步骤1的数据预处理后，作为输入对网络流进行识别，得到网络流对应各个异常流量类别的置信度分数的集合S；

步骤3.利用深度学习中置信度分数累积分布函数特性和其精度边界参数β从置信度分数集合S中过滤出未知异常网络流集合

步骤4.通过主成分分析对步骤3得到的未知异常网络流集合F_n进行特征提取来降低特征维度；；

步骤5.利用步骤4中提取的特征，采用K-means算法进行聚类得到最优聚类模型；将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中；

步骤6.利用数据集D_t+1重新对步骤2中卷积神经网络模型进行训练，并采用迁移学习迁移当前模型参数以简化训练过程，所述数据集D_t+1由数据集D_t、未知异常网络流集合F_n和异常标签集l_n组成；

步骤7.根据网络新增异常频率情况，设定周期时间，定期地重复执行步骤3到步骤6，以更新卷积神经网络模型训练状态，提升卷积神经网络模型在动态网络环境中对新型异常流量识别的准确度。

2.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的TCP连接基本特征包括：连接的持续时间、协议类型、连接目的端的网络服务、从源主机到目的主机数据的字节数、从目的主机到源主机数据的字节数、连接来自/到同一主机/端口。

3.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的TCP连接的内容特征包括：访问系统敏感文件和目录的次数、登录尝试失败的次数、使用shell命令的次数、root用户访问次数、文件创建操作的次数、问控制文件的次数。

4.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的基于时间的网络流量统计特征包括：过去两秒内，与当前连接具有相同的目标主机的连接数、过去两秒内，与当前连接具有相同服务的连接数、过去两秒内，在与当前连接具有相同服务的连接中，与当前连接具有不同目标主机的连接的百分比。

5.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的基于主机的网络流量统计特征包括：前50个连接中与当前连接具有相同目标主机的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接所占的百分比、前50个连接中与当前连接具有相同目标主机不同服务的连接所占的百分比以及前50个连接中与当前连接具有相同目标主机相同源端口的连接所占的百分比。

6.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的置信度分数集合S为：

7.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的步骤3具体是：

取当前网络流置信度分数集合S中最大置信度分数

当

时，网络流i将被视为已发现的未知异常类别，令

表示这些网络流的集合；

再通过已知正常和异常类网络流、未知异常类网络流集合

对基于深度学习的二元判别器进行训练，并将集合S中剩余数据对应的网络流进行判别，将判别出的未知异常类网络流集合

和

合并得到总的未知异常网络流集合F_n。

8.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的步骤5中对于自主聚类，应用贝叶斯信息准则来找到最佳簇数。

Images