CN113194094B - 一种基于神经网络的异常流量检测方法 - Google Patents

Abstract

本发明属于异常流量检测技术领域，具体涉及一种基于神经网络的异常流量检测方法。本发明首先通过采样技术对数据不均衡的流量样本进行重新采样，以避减少数据不均衡对检测的影响；然后将样本数据输入网络进行检测，从空间结构和特征权重两个方面对网络进行优化，并且针对异常流量的特点对网络的结构进行改进，提升网络检测准确率。本发明将重采样和神经网络相结合，提高模型准确性，有效提升异常流量检测的效果。本发明可以有效的减少数据不均衡对分类结果的影响，同时根据流量检测的特点对网络进行优化，提升检测准确率。本发明解决了训练数据集中数据分布不均衡的异常流量检测问题，并提高了检测模型的性能。

Description

一种基于神经网络的异常流量检测方法

技术领域

本发明属于异常流量检测技术领域，具体涉及一种基于神经网络的异常流量检测方法。

背景技术

随着互联网技术越来越多的应用，安全问题已成为一个亟待解决的安全问题，如何抵御来自外部的网络攻击已成为全世界相关从业者所关注的重点问题。异常流量检测是网络安全防御工作中重要的组成部分，针对目前工业控制系统出现的网络安全问题，可以采取异常流量检测的方式对工控网络中的流量进行收集并检测以此发现可能的攻击并作出响应。异常流量检测则是为通过针对网络中的流量进行收集并将其中有用的信息提取成特征，用特征对流量进行描述，从而发现网络中是否存在被攻击的迹象或违反安全策略的行为。

机器学习和深度学习等方法具有建模能力强的优势，对数据的学习效果更好，近年来在网络安全领域也取得了巨大的成功。迄今为止，研究人员们将很多机器学习方法用到异常流量检测工作中来，这些方法各具特色。

神经网络算法是近年来热门的算法，具有仿生学的随机性和合理性，很多时候性能高于其他的机器学习算法，天然需要大量的数据以学习成为性能优异的模型，其结构可以表达出十分复杂的模型，非常适合于异常流量检测这种大量而难以区分的数据。赖英旭等人通过基于马氏距离提取特征映射的方法将结果作为CNN的输入，在一个天然气系统的数据集上具有很好的表现、Wu等人提出一种基于人工免疫算法的广义回归神经网络，提高适应性和准确性，对于训练时间长问题则使用PCA进行降维，以此来减少训练时间、Sonawane等人利用PCA提取主成分和神经网络相结合，通过降维来提高检测效率，节约时间和内存成本、Ashfaq等人将半监督学习和神经网络相结合进行模糊检测，用未标记的样本提高模型的分类性能。这些方法大多节省了计算资源并且得到了不错的结果，但是在异常流量的数据集中往往会存在一些样本分布不均的问题，样本不均衡的现象十分常见，尤其是在异常检测、医学影像分析和金融预测等领域。样本不均衡的数据训练出的模型的分类结果会更偏向于样本数量较多的样本类别，使得应该属于样本数量较少的类别的样本在预测时分到样本数量较多的类别中，使得模型的泛化性变差，这也是需要解决的。

样本的不平衡问题主要可以从数据处理时解决，从数据处理入手，通过采样等技术调整不均衡类的样本数量增加少数类别的样本数量或者减少多数类别的样本数量使数据更均衡。

发明内容

本发明的目的在于提供解决训练数据集中数据分布不均衡的异常流量检测问题，并提高检测模型的性能的一种基于神经网络的异常流量检测方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：获取待检测的原始数据集，对原始数据集进行预处理；将预处理后的数据集分为训练集和测试集，对训练集中的数据进行标注；

步骤2：利用过采样方法对训练集中的少数类别样本进行扩充；

步骤2.1：确定少数类样本k的扩充数量t，构造少数类样本k的同类近邻集合ndarray；

步骤2.2：对于每一个少数类样本p，在其K个邻近的同类中，随机选择一个样本nb，从0-1之间确定一个随机数rd，生成新的样本new；新的样本new中的连续型特征c以随机数以及两个样本p、nb对应特征c的取值进行确定：

new[c]＝nb[c]+rd×dis

dis＝p[c]-nb[c]

步骤2.3：根据少数类样本p的K个邻近的同类中出现次数最多的特征，确定新的样本new中的离散型特征dc；

new[dc]＝max count(ndarray[nb][dc])

步骤2.4：重复步骤2.2至步骤2.3，直至获得少数类样本k的t个新样本；

步骤3：利用欠采样方法对扩充后的训练集中的样本进行清洗；

对于多数类样本A和少数类样本B，若A与B互为最近的异类样本，则选择将多数类样本A剔除，或选择将两个样本A和B均剔除；

步骤4：将训练集输入至神经网络模型中进行训练，得到训练好的神经网络模型；

步骤5：将测试集输入至训练好的神经网络模型中，得到异常流量检测结果。

本发明还可以包括：

所述的步骤1中对原始数据集进行预处理包括对数据的数值化、归一化；所述的数值化是将其中离散型字符变量用整型数据进行表示，便于处理；所述的归一化是将量纲不同的数据归一到0-1之间，避免数量级差距过大带来的影响。

所述的步骤4中将训练集输入至神经网络模型中进行训练的方法具体为：

步骤4.1：将训练集中的一维数据进行二维化，特征数量不够则使用0进行填充；

步骤4.2：对训练集中的数据进行初始化，增加通道数；

步骤4.3：网络卷积部分使用多尺度跳跃激励模块，这一模块首先在卷积时使用多种尺度的滤波器，基于异常流量的特点考虑，在网络结构中尽量避免使用池化，防止丢失掉重要信息；在进行卷积之后，对卷积的结果进行特征加权，第一步是对每个通道中的特征图进行全局池化操作，然后需要学习通道间的关系，在池化之后，第一次建立通道之间的关系时，考虑每个通道及最近的2个通道来捕获局部跨通道交互信息，经过激活函数，最后进入一个全连接层，学习全部通道之间的相关性信息；得到结果后，通过sigmoid函数将结果归一化，即为权重，最后将权重作用于原始的特征矩阵上，得到新的加权过的特征矩阵；最后将两种模块进行连接后，再将原始输入与输出做恒等映射，防止网络退化；

步骤4.4：根据流量数据特点，采用卷积进行特征图尺寸的缩减，并且增加了通道数，避免了因池化导致的信息丢失；

步骤4.5：采取全局最大池化和全局平均池化，然后将它们的结果进行连接，将2个池化后的值拼成一个特征图，最后传递给全连接层进行处理。

本发明的有益效果在于：

本发明首先通过采样技术对数据不均衡的流量样本进行重新采样，以避减少数据不均衡对检测的影响；然后将样本数据输入网络进行检测，从空间结构和特征权重两个方面对网络进行优化，并且针对异常流量的特点对网络的结构进行改进，提升网络检测准确率。本发明将重采样和神经网络相结合，提高模型准确性，有效提升异常流量检测的效果。本发明可以有效的减少数据不均衡对分类结果的影响，同时根据流量检测的特点对网络进行优化，提升检测准确率。本发明解决了训练数据集中数据分布不均衡的异常流量检测问题，并提高了检测模型的性能。

附图说明

图1为本发明的整体流程图。

图2为本发明中神经网络的总体结构图。

图3为本发明中初始模块的结构图。

图4为本发明中卷积模块的结构图。

图5为本发明中池化模块的结构图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明涉及了异常流量检测领域，尤其能够有效的提高数据不均衡样本下的检测效果，提高对异常流量的检测的能力。本发明的目的是解决训练数据集中数据分布不均衡的异常流量检测问题，并提高检测模型的性能。本发明提出了一种基于神经网络的异常流量检测方法。本发明首先通过采样技术对数据不均衡的流量样本进行重新采样，以避减少数据不均衡对检测的影响；然后将样本数据输入网络进行检测，从空间结构和特征权重两个方面对网络进行优化，并且针对异常流量的特点对网络的结构进行改进，提升网络检测准确率。本发明将重采样和神经网络相结合，提高模型准确性，有效提升异常流量检测的效果。本发明可以有效的减少数据不均衡对分类结果的影响，同时根据流量检测的特点对网络进行优化，提升检测准确率。

一种基于神经网络的异常流量检测方法，具体包括以下步骤：

步骤1：将原始的数据集进行预处理，包括对数据的数值化、归一化。

步骤2：利用过采样方法对少数类别样本进行扩充。

步骤2.1：确定样本中的离散型特征dc，以及每一种少数类样本的扩充个数t。

步骤2.2：对于每一种少数类样本k，构造其同类K近邻集合ndarray。

步骤2.3：对于每一个少数类样本p，在其K个邻近的同类中，随机选择一个nb，从0-1之间确定一个随机数rd，以生成新的样本，新的样本中new的连续型特征c以随机数以及两个点这一特征的取值进行确定如下式：

dis＝p[c]-nb[c]

new[c]＝nb[c]+rd×dis

而离散型特征dc则根据K个近邻中出现次数最多的确定

new[dc]＝max count(ndarray[nb][dc])

步骤2.4：用步骤2.3中的方法生成新样本直到达到t个。

步骤3：利用欠采样方法对样本进行清洗。

步骤3.1：对于多数类样本A和少数类样本B，如果满足不存在一个样本C，使得C在于不同类与A或B之间的欧式距离小于A与B之间的距离，即A与B互为最近的异类样本，此时A与B很可能存在一个或者都是噪声数据，可以选择将多数类或将两个样本剔除。

步骤3.2：重复步骤3.1，直到不存在这种点，达到清洗数据的效果。

步骤4：进入网络训练，得到模型。

步骤4.1：将一维数据进行二维化，特征数量不够则使用0进行填充，作为输入数据。

步骤4.2：对数据进行初始化，增加通道数。

步骤4.3：网络卷积部分使用多尺度跳跃激励模块，这一模块首先在卷积时使用多种尺度的滤波器，基于异常流量的特点考虑，在网络结构中尽量避免使用池化，防止丢失掉重要信息；在进行卷积之后，对卷积的结果进行特征加权，第一步是对每个通道中的特征图进行全局池化操作，然后需要学习通道间的关系，在池化之后，第一次建立通道之间的关系时，考虑每个通道及最近的2个通道来捕获局部跨通道交互信息，经过激活函数，最后进入一个全连接层，学习全部通道之间的相关性信息。得到结果后，通过sigmoid函数将结果归一化，即为权重，最后将权重作用于原始的特征矩阵上，得到新的加权过的特征矩阵；最后将两种模块进行连接后，再将原始输入与输出做恒等映射，防止网络退化。

步骤4.4：根据流量数据特点，采用卷积进行特征图尺寸的缩减，并且增加了通道数，避免了因池化导致的信息丢失。

步骤4.5：采取全局最大池化和全局平均池化，然后将它们的结果进行连接，将2个池化后的值拼成一个特征图，最后传递给全连接层进行处理。

实施例1：

1、结合图1，本发明提出一种基于神经网络的异常流量检测方法，具体包括以下步骤：

步骤1：将原始的数据集进行预处理，包括对数据的数值化、归一化，其中数值化是将其中离散型字符变量用整型数据进行表示，便于处理；归一化则是将量纲不同的数据归一到0-1之间，避免数量级差距过大带来的影响。

步骤2：利用过采样方法对少数类别样本进行扩充。

步骤3：利用欠采样方法对样本进行清洗。

步骤4：进入网络训练，得到模型。

2、所述步骤2对于构造少数类别样本进行过采样的具体步骤为：

步骤2.1：确定样本中的离散型特征dc，以及每一种少数类样本的扩充个数t。

步骤2.2：对于每一种少数类样本k，构造其同类K近邻集合ndarray。

步骤2.3：对于每一个少数类样本p，在其K个邻近的同类中，随机选择一个nb，从0-1之间确定一个随机数rd，以生成新的样本，新的样本中new的连续型特征c以随机数以及两个点这一特征的取值进行确定如下式：

dis＝p[c]-nb[c]

new[c]＝nb[c]+rd×dis

而离散型特征dc则根据K个近邻中出现次数最多的确定

new[dc]＝maxcount(ndarray[nb][dc])

步骤2.4：用步骤2.3中的方法生成新样本直到达到t个。

3、所述步骤2对于样本进行欠采样的具体步骤为：

步骤3.1：对于多数类样本A和少数类样本B，如果满足不存在一个样本C，使得C在于不同类与A或B之间的欧式距离小于A与B之间的距离，即A与B互为最近的异类样本，此时A与B很可能存在一个或者都是噪声数据，可以选择将多数类或将两个样本剔除。

步骤3.2：重复步骤3.1，直到不存在这种点，达到清洗数据的效果。

4、网络的整体结构如图2所示，所述步骤4的网络构造具体过程为：

步骤4.1：将一维数据进行二维化，特征数量不够则使用0进行填充，作为输入数据。

步骤4.2：对数据进行初始化，增加通道数，初始化模块结构如图3所示。

步骤4.3：首先，在卷积时使用多种尺度的滤波器，基于多尺度的考虑，以及流量特征与图像等对象不同，图像的维度较大，池化可以有效地减少计算量并且防止过拟合，但是流量特征很小，不像图像周围的像素点和中心的比较接近，流量相邻特征可能联系不大，因此在网络结构中尽量避免使用池化，防止丢失掉重要信息。特征拼接时需要注意由于要让特征矩阵尺寸相同，不同时则使用0进行填充，最后得到新的特征矩阵。

在进行卷积之后，对卷积的结果进行特征加权，第一步是对每个通道中的特征图进行全局池化操作，然后需要学习通道间的关系，因为网络信息在经过处理后相较于图片、声音等维度很小，计算量在可接受的范围内。所以在池化之后，第一次建立通道之间的关系时，考虑每个通道及最近的2个通道来捕获局部跨通道交互信息，在第一次提取到了局部通道的交互信息后，经过激活函数，学习更多非线性信息，最后进入一个全连接层，学习全部通道之间的相关性信息。得到结果后，通过sigmoid函数进行激活，将结果归一化，即为权重，最后将权重作用于原始的特征矩阵上，得到新的加权过的特征矩阵。

将两种模块进行连接后，再将原始输入与输出做恒等映射，防止网络退化，模块具体结构如图4所示。

步骤4.4：池化操作通过将数据进行压缩的操作达到特征提取、降维，减少后续网络中的计算量、避免发生过拟合的问题。对于图像而言，对于矩阵的部分区域取最大值或平均值进行池化，可以得到背景信息和纹理信息。而流量特征与图像不同，进行池化可能会损失信息，影响模型性能。所以采用卷积进行特征图尺寸的缩减，并且增加了通道数，避免了因池化导致的信息丢失。

步骤4.5：全局池化是对整张特征图进行一次池化，每个特征图的输出只有一个值。全局池化的优点在于全局池化无需设置滑动窗口的大小，只需求整个特征图的均值或最大值，大大缩短了训练时间。并且全局池将整个空间的信息进行聚合。全局池化分为两种，和普通的池化操作一样，也分为全局最大池化和全局平均池化，其中全局最大池化考虑的是整个特征图中最突出的部分，而全局平均池化会对特征图中全部区域进行考虑，求均值。最后，将它们进行连接，和常规的特征连接不同，是将它们的结果2个池化后的值拼成一个特征图，最后传递给全连接层进行处理，具体结构如图5所示。

本发明的有益效果为：

本发明针对异常检测数据集中经常存在的样本不平衡现象，利用组合采样方式，使用过采样的方法生成新的样本将样本平衡，避免样本不均衡导致的分类偏移，并使用欠采样方法清洗样本，使样本边界更清晰。

本发明提出一种多尺度跳跃激励网络结构，其中多尺度结构让模型能学习到的更多特征而不改变层数；跳跃结构让浅层网络的特征得以传递到深层网络；激励结构为特征工程，利用自动学习的每个特征的重要程度为特征赋予权值，对重要的部分进行突出，相关性低的特征权重减小；并且针对异常检测中使用到的数据特点，对已有的卷积神经网络结构进行优化，提升其在检测分类的能力，提高检测准确率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于神经网络的异常流量检测方法，其特征在于，包括以下步骤：

步骤1：获取待检测的原始数据集，对原始数据集进行预处理；将预处理后的数据集分为训练集和测试集，对训练集中的数据进行标注；

步骤2：利用过采样方法对训练集中的少数类别样本进行扩充；

步骤2.1：确定少数类样本k的扩充数量t，构造少数类样本k的同类近邻集合ndarray；

步骤2.2：对于每一个少数类样本p，在其K个邻近的同类中，随机选择一个样本nb，从0-1之间确定一个随机数rd，生成新的样本new；新的样本new中的连续型特征c以随机数以及两个样本p、nb对应特征c的取值进行确定：

new[c]＝nb[c]+rd×dis

dis＝p[c]-nb[c]

步骤2.3：根据少数类样本p的K个邻近的同类中出现次数最多的特征，确定新的样本new中的离散型特征dc；

new[dc]＝maxcount(ndarray[nb][dc])

步骤2.4：重复步骤2.2至步骤2.3，直至获得少数类样本k的t个新样本；

步骤3：利用欠采样方法对扩充后的训练集中的样本进行清洗；

对于多数类样本A和少数类样本B，若A与B互为最近的异类样本，则选择将多数类样本A剔除，或选择将两个样本A和B均剔除；

步骤4：将训练集输入至神经网络模型中进行训练，得到训练好的神经网络模型；

步骤4.1：将训练集中的一维数据进行二维化，特征数量不够则使用0进行填充；

步骤4.2：对训练集中的数据进行初始化，增加通道数；

步骤4.3：网络卷积部分使用多尺度跳跃激励模块，这一模块首先在卷积时使用多种尺度的滤波器，基于异常流量的特点考虑，在网络结构中尽量避免使用池化，防止丢失掉重要信息；在进行卷积之后，对卷积的结果进行特征加权，第一步是对每个通道中的特征图进行全局池化操作，然后需要学习通道间的关系，在池化之后，第一次建立通道之间的关系时，考虑每个通道及最近的2个通道来捕获局部跨通道交互信息，经过激活函数，最后进入一个全连接层，学习全部通道之间的相关性信息；得到结果后，通过sigmoid函数将结果归一化，即为权重，最后将权重作用于原始的特征矩阵上，得到新的加权过的特征矩阵；最后将两种模块进行连接后，再将原始输入与输出做恒等映射，防止网络退化；

步骤4.4：根据流量数据特点，采用卷积进行特征图尺寸的缩减，并且增加了通道数，避免了因池化导致的信息丢失；

步骤4.5：采取全局最大池化和全局平均池化，然后将它们的结果进行连接，将2个池化后的值拼成一个特征图，最后传递给全连接层进行处理；

步骤5：将测试集输入至训练好的神经网络模型中，得到异常流量检测结果。

2.根据权利要求1所述的一种基于神经网络的异常流量检测方法，其特征在于：所述的步骤1中对原始数据集进行预处理包括对数据的数值化、归一化；所述的数值化是将其中离散型字符变量用整型数据进行表示，便于处理；所述的归一化是将量纲不同的数据归一到0-1之间，避免数量级差距过大带来的影响。

Images