CN112688928A - 结合自编码器和wgan的网络攻击流量数据增强方法及系统 - Google Patents

Abstract

本发明公开一种结合自编码器和WGAN的网络攻击流量数据增强方法及系统，涉及网络空间安全领域、通信网络异常流量检测和人工智能领域，针对网络攻击流量检测模型学习、训练、优化的需要，结合自编码器和生成式对抗网络构建改进的生成对抗网络，利用生成对抗网络学习数据分布的特点，生成数据分布、特征更符合真实流量特点的网络攻击流量数据来辅助网络攻击检测。

Description

结合自编码器和WGAN的网络攻击流量数据增强方法及系统

技术领域

本发明涉及网络空间安全领域、通信网络异常流量检测和人工智能领域，具体涉及一种结合自编码器和WGAN的网络攻击流量数据增强方法及系统。

背景技术

互联网技术蓬勃发展给人们带来便利的同时也带了很多潜在的威胁。由于恶意软件具备监听、窃密、隐蔽能力，黑客在网络攻击中通常会使用它来控制用户主机、监控用户操作、提升自身权限、窃取敏感信息。恶意软件的存在对个人、企业、社会组织以及国家的网络空间都造成了严重的危害，如何检测网络恶意攻击、非法入侵、窃取机密等破坏网络安全的行为成为目前学术界和工业界研究的热点。除了检测方法上的提升和改进，输入端的数据集也会限制检测模型效果的提升。一方面，有标签数据集很少包含真实的用户行为和最新的攻击场景。因为数据集的构造和标注需要大量的时间精力和专家知识，但恶意程序为了躲避检测不断地更新改进自身，产生各类变体。因此，用旧的数据集训练的检测模型对目前现实的流量进行检测可能会导致检测准确率的降低。另一方面，在现实世界中，攻击流量只占正常流量中的很小一部分。因此数据集是不平衡的，不平衡的数据集也会导致模型的学习的困难，如何在不平衡的数据集中使模型充分学习到小类别的特征也是目前亟待解决的问题。

生成对抗网络(GAN)及其变体是最近人工智能领域的研究热点，现在主要应用于计算机视觉领域，在图片生成处理方面取得很好的效果。生成对抗网络主要包括生成器和鉴别器。生成器利用鉴别器的反馈作为生成器的下一轮训练的基础，鉴别器利用生成器的反馈作为鉴别器是否有足够鉴别能力的基准，二者在博弈过程中不断提升生成和鉴别的能力，系统达到平衡状态后，生成模型可以生成足够以假乱真的模拟数据。网络攻防过程就类似一场零和博弈，攻守双方不断做出最佳决策提升各自攻防能力最终达到一个纳什均衡，这和GAN的原理是相似的，但目前没有这方面结合的相关技术。

发明内容

本发明的目的是提供一种结合自编码器和WGAN的网络攻击流量数据增强方法及系统，针对网络攻击流量检测模型学习、训练、优化的需要，利用生成对抗网络学习数据分布的特点，生成数据分布、特征更符合真实流量特点的网络攻击流量数据来辅助网络攻击检测。

为实现上述目的，本发明采取如下技术方案：

一种结合自编码器和WGAN的网络攻击流量数据增强方法，包括以下步骤：

结合自编码器和生成式对抗网络，构建改进的生成对抗网络，该改进的生成对抗网络包括生成器、鉴别器和编码器；

对改进的生成对抗网络进行训练，其中，鉴别器和编码器输入训练集数据，编码器生成与训练集数据分布特征相同的数据；生成器输入随机噪声，生成新数据；将编码器生成的数据与生成器生成的数据组成数据对，输入到鉴别器中来判断数据对中的两个数据各自由谁生成，通过迭代训练和判断，调整生成器和鉴别器的参数，直至鉴别器无法区分数据对中的数据时完成训练；

基于网络攻击流量数据构建不平衡数据集，将不平衡数据集中需要增强的小类别数据进行特征数据筛选，将筛选出的特征数据处理成维度相同的二进制数据串；

将二进制数据串输入到训练好的改进的生成对抗网络中进行数据增强；

对增强后的二进制数据串进行逆向处理，恢复成可读的原始特征形态数据，将该数据加入到上述不平衡数据集中，实现网络攻击流量数据增强。

进一步地，对筛选出的特征数据进行处理的方法包括：对于类别型特征采取独热编码，对于连续型特征行归一化，对于离散型特征进行二值化处理。

进一步地，生成器、编码器、鉴别器均包含全连接层、Dropout层和批量正则化层。

进一步地，训练时调整生成器和鉴别器的参数的方法为：先固定鉴别器的参数，生成器生成数据，根据鉴别器的结果返回进行参数调整优化；再固定生成器的参数，将生成的数据输入到鉴别器，对鉴别器的参数进行调整优化。

进一步地，改进的生成对抗网络中的损失函数采用EM距离，代替标准生成对抗网络GAN中的JS散度。

进一步地，对增强后的二进制数据串进行逆向处理，包括：类别特征根据编码还原，连续特征根据保存的参数还原，离散特征根据固定位数的二值化后的数据进行还原。

进一步地，不平衡数据集包含通信特征，该通信特征包括IP、端口、数据包长度、个数、会话时间及统计特征。

进一步地，不平衡数据集的数据格式为CSV格式文件。

一种结合自编码器和WGAN的网络攻击流量数据增强系统，包括：

特征处理模块，用于将基于网络攻击流量数据构建不平衡数据集中需要增强的小类别数据进行特征数据筛选，将筛选出的特征数据处理成维度相同的二进制数据串；

数据生成模块，由改进的生成对抗网络构成，该改进的生成对抗网络包括生成器、鉴别器和编码器，用于将二进制数据串输入到训练好的改进的生成对抗网络中进行数据增强；

特征恢复模块，对增强后的二进制数据串进行逆向处理，恢复成可读的原始特征形态数据，将该数据加入到上述不平衡数据集中，实现网络攻击流量数据增强。

本发明和现有技术相比有如下优点：

首先通过数据的预处理、编码、解码等方法，研究如何解决生成离散型数据的问题。不仅适用于异常流量检测领域，还适用于更加通用的网络数据增强，可以应用于诸如恶意加密流量、恶意匿名流量等其他不平衡数据集。本发明相较于传统的数据增强方法，可以生成更加符合真实分布并且多样化的攻击数据，以此来扩充数据集，提高检测效果。本发明生成数据不是简单基于样本数据而是整个少数类的数据分布特征。当生成器和鉴别器不断地迭代更新，直到达到均衡，这时生成器就是生成出与真实攻击数据相仿的数据。本发明可以减少机器学习算法对人工标注的依赖。目前数据层面上的一些数据增强方法主要是对样本进行复制或者进行简单计算生产，而非进行整体考虑。本发明在对样本进行采样学习的时候，不仅依赖于简单的计算生成，而是通过学习样本的数据分布来生成合成的高质量网络攻击流量样本数据。由于新生成的数据具有多样性，可以在有效帮助分类器提升分类精度的同时能提高分类器的鲁棒性，抵抗概念漂移。

附图说明

图1是基于改进的生成对抗网络的网络流量数据增强方法的流程图；

图2是基于二值化处理离散特征的过程示意图；

图3是生成模块的网络结构图；

图4是具体实施方法中数据集文件示例。

具体实施方式

本发明提出的一种结合自编码器和WGAN的网络攻击流量数据增强方法通过一种结合自编码器和WGAN的网络攻击流量数据增强系统来实现，该系统主要包括三个模块：特征处理模块、数据生成模块和特征恢复模块。各模块之间数据串行处理生成，处理过程包括步骤：

步骤1：利用不同特征处理方法对针对不同类型特征进行规范化。将不平衡数据集中需要增强的小类别数据筛选特征数据，输入特征处理模块，针对不同类型的特征采用不同的处理方法，主要包括归一化、二值化。经过本模块将特征数据处理成维度相同的0,1串。

步骤2：利用数据生成模块对输入数据进行数据增强。将从特征处理模块处理好的数据输入数据生成模块，本模块是改进的生成对抗网络结构，包含一个生成器、一个鉴别器和一个编码器。鉴别器和编码器输入的训练集中的数据。生成器的输入是随机噪声，输出的是根据学习到的参数生成的近似新数据。迭代的对抗训练使得充分学习输入的数据分布，互相增强效果。除此之外，增加编码器的额外信息之后，有利于迭代对抗训练的稳定性和多样性。

步骤3：利用特征处理的逆向操作对数据进行恢复。在数据生成模块训练完成之后，生成的是同输入分布相似的新生成的数据。将此数据输入特征恢复模块。本模块是特征处理模块的逆向处理，将0,1数据串恢复成可读的原始特征形态。输出的数据可以直接加入到原始的不平衡数据集中对其进行平衡。

优选地，对于步骤1，输入可以是已经处理完毕包含网络流量特征的CSV格式文件，目前网络安全领域很多公开数据集都给出这样的形式；此外，输入也可以是捕获的原始PCAP格式文件，需要对PCAP包中的特征进行计算处理，生成CSV格式文件。对于不同类型的特征采用不同的处理办法：对于类别型特征可以采取独热编码，对于连续型特征直接进行归一化，对于离散型特征进行二值化处理。

优选地，对于步骤2，生成器、编码器、鉴别器均由全连接层和Dropout组合构建。输入真实的数据，编码器学习数据的潜在分布，鉴别器学习如何区分数据。并输入随机噪声，通过生成器生成新数据。经过这两个步骤，得到了一系列这样的数据对。第一种由编码器生成，第二种由生成器生成。将这些结果输入到鉴别器中，由鉴别器判断它们是由E还是G产生的。保持鉴别器的参数不变，生成器根据随机噪声生成数据，根据鉴别器的反馈进行参数优化。再保持生成器的参数不变，生成输入鉴别器，对鉴别器的参数进行调整优化。当鉴别器无法区分时，达到平衡状态，训练完成。其中要注重对生成器、编码器、鉴别器的调参训练，对性能影响也很大。除此之外，注重损失函数的选择，标准损失函数有其局限性。

优选地，对于步骤3，对于类别特征根据编码还原、连续特征根据保存的参数还原、离散特征根据固定位数的二值化后的数据进行还原。特征恢复模块的主要工作就是将0,1串恢复成可读可用的特征格式。

下面结合附图对本发明的优选实例进行详细阐述。

如图1所示，本发明系统主要包括三个模块：特征处理模块、数据生成模块和特征恢复模块。首先系统的输入是不平衡数据集，格式是提取好的特征文件。常见的通信特征包括IP、端口、数据包长度、个数、会话时间及相关的一些统计特征。离散特征在神经网络训练中无法进行处理，因为生成器产生的不同结果经过鉴别器会输出同样的判别结果，并不能将梯度更新信息有效的传递到生成器中，所以鉴别器最后输出的判别结果没有意义，从而无法更新优化生成器和鉴别器。所以本发明需要将不平衡数据集中需要增强的小类别数据筛选出来，输入特征处理模块，将特征处理成维度一致的0,1串。对于不同类型特征采用不同的处理办法：对于类别型特征采用独热编码，对于连续型特征直接进行归一化，对于离散型特征进行二值化处理。通常使用的归一化方法对类别属性来说效果不好，损失了很多原有包含的分类信息，二进制变换则可以有效的保留这些信息。二进制变换将每个特征值转换为0和1的序列，序列长度决定了该特征的最大值，例如端口特征，端口的最大值是65536，可以用16位表示。二值化处理的流程如图2所示。

数据生成模块由改进的生成对抗网络实现，接收特征处理模块处理完毕的数据，网络结构如图3所示，包含一个生成器、一个鉴别器和一个编码器。增加编码器的额外信息之后，有利于迭代对抗训练的稳定性和多样性。生成器、鉴别器、编码器均由全连接层和Dropout组合构建。该网络的损失函数采用EM距离(Earth-Mover Distance)代替标准GAN中的JS散度(Jensen-Shannon Divergence)，解决GAN训练不稳定的问题，确保生成样本的多样性。损失函数公式如下所示：

其中，W表示损失；P_r,P_g分别表示真实数据r的分布和生成数据g的分布，Π(P_r,P_g)表示二者的联合分布；x,y表示在联合分布γ上的一个采样点，||x-y||表示两个采样点之间的距离；E表示计算两个分布之间任意采样点距离的期望，找到所有联合分布中距离的下界。

本发明做了重要修改来避免需要平衡鉴别器的训练水平。当训练达到均衡时，生成器和鉴别器的参数均能得到更新完善。即使当网络结构设计的一般时，也能得到较好的结果。采用这种损失函数在避免模式崩塌上也有一定的效果，有利于获得稳定、高质量的生成数据。为了考虑潜在空间表示，本发明将编码器与GAN框架结合使用。在生成式对抗网络中添加一个编码器。鉴别器和编码器输入的训练集中的数据。生成器的输入是随机噪声，输出的是根据学习到的参数生成的近似新数据。自编码器是一种提取输入数据表示的结构。在编码器学到的额外信息的帮助下，鉴别器被训练得更加全面，它学习了数据和潜在的联合概率分布，而原始GAN只学习了数据分布。从而减少了因鉴别器的鉴别能力缺乏导致的模式崩塌。输入真实的数据，通过编码器获得学习的分布，并输入随机噪声，通过生成器生成新数据。经过这两个步骤，得到了一系列这样的数据对。第一种由编码器生成，第二种由生成器生成。将这些结果输入到鉴别器中，由鉴别器判断它们是由E还是G产生的。当鉴别器无法区分时，训练完成。同时，在构建网络时着重对学习率、学习轮次、批输入大小、维度进行调优，以便获得网络最好的性能。

在数据生成模块训练完成之后，生成的是同输入分布相似的新生成的数据。将此数据输入特征恢复模块。本模块是特征处理模块的逆向处理，将二进制数据序列恢复成可读的原始特征形态。此时经过特征恢复模块输出的特征文件是同输入的特征文件相同格式，特征数据维度量纲相同，可以直接加入原始不平衡数据集中辅助使用。在这个过程中，数据集的平衡度提升，不经过专家知识和人工标注即可获得更多所需要的标注训练数据，对相关领域的检测模型的构建和训练都起到辅助作用。

为证明本方法是在网络攻击流量数据增强的有效性，实验中基于UNSW-UB15数据集构建了一个不平衡数据集用于测试。UNSW-NB15数据集的原始网络数据包是由澳大利亚网络安全中心实验室创建的。数据集包含真实的正常活动和合成的目前最新的攻击行为的混合。这个数据集具有攻击类型全面、攻击场景新颖的特点，包括有标签的正常流量和攻击流量，其中有九种类型的攻击，即普通攻击、Fuzz攻击、分析攻击、后门攻击、拒绝服务攻击、漏洞利用攻击、侦察探测攻击、Shellcode攻击和蠕虫攻击。表1详细展示了各个攻击类型的数量。其中每个样本提供了Pcap文件，如图4所示。

表1 UNSW-NB15数据集

攻击类型	数量
		普通攻击	2,218,761
Fuzz攻击	24,246
		分析攻击	2,677
后门攻击	2,329
		拒绝服务攻击	16,353
漏洞利用攻击	44,525
		侦察探测攻击	215,481
Shellcode攻击	1,511
		蠕虫攻击	174

因此，实验在此基础上构造不平衡数据集，从UNSW-NB15数据集中随机抽取300000条正常流量记录和1000条攻击记录，构建一个不平衡数据集，并使用相关16个特征进行实验。

实验将构建好的数据集1:1分为训练集和测试集，将500条恶意流量的特征文件输入本方法，经过特征处理模块的处理，16维特征包括6个离散型特征，10个连续型特征，输入500*16的数据，本模块输出得到500*59的特征数据。输入生成模块，生成器、鉴别器、编码器都包含四个全连接层、两个Dropout层和批量正则化层。鉴别器和编码器输入的训练集中的数据，编码器输出提取的数据表示输入鉴别器辅助训练。生成器的输入是随机噪声，输出的是根据学习到的参数生成的近似新数据。固定鉴别器模型，生成器生成数据，根据鉴别器的结果反馈进行调参优化。再固定生成器的模型，生成输入鉴别器，对鉴别器的参数进行调整优化。经过本模块的反复迭代对抗训练，训练稳定之后生产新的3000条59维的特征数据。经过特征恢复模块之后，成为3000条16维的特征数据，加入到训练集中，成为新的训练集。

实验在当前五种常见的机器学习模型进行，最高检测准确率提升超过15％。与其他过采样方法进行实验对比，准确率高出2％～4％左右。实验结果证明了本发明能够通过在小类别样本中增加合成数据，合成数据与真实数据相比既具有攻击特征上的相似性，同时又能呈现出攻击类别上的多样性。加入合成的数据后，机器学习算法能够更加稳定地训练，而且分类的准确度也有进一步的提高，提高效果优于目前常用的过采样方法。本发明在F1值和AUC上有更好的性能，证明通过平衡数据集来提高检测性能的方法是有效的。就准确率和召回率而言，本发明对召回率有更强的改善效果。如前文所述，如果检测的准确率过高，会造成较高的误报率，这可能会企业和个人都产生较大损失。因此，当Fl值相同时，召回率越高更重要。

本发明提出一种结合自编码器和生成对抗网络的网络攻击流量数据增强方法。首先解决生成对抗网络无法处理离散值的问题，通过在网络结构中增加自编码器和修改损失函数来改进标准GAN。从而使本发明可以生成相关特征记录，来解决日常恶意软件流量检测中数据集不平衡的问题。本发明具有灵活性，可以根据使用者的需要自行删减特征。本发明可以适用于网络流量数据中所有需要平衡数据集的场景。

以上所述仅是本发明的一种优选方案，应当指出，对于本技术领域的普通人员来说，在不脱离本发明的原理前提下，还可以做出若干修饰和润色，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种结合自编码器和WGAN的网络攻击流量数据增强方法，其特征在于，包括以下步骤：

结合自编码器和生成式对抗网络，构建改进的生成对抗网络，该改进的生成对抗网络包括生成器、鉴别器和编码器；

对改进的生成对抗网络进行训练，其中，鉴别器和编码器输入训练集数据，编码器生成与训练集数据分布特征相同的数据；生成器输入随机噪声，生成新数据；将编码器生成的数据与生成器生成的数据组成数据对，输入到鉴别器中来判断数据对中的两个数据各自由谁生成，通过迭代训练和判断，调整生成器和鉴别器的参数，直至鉴别器无法区分数据对中的数据时完成训练；

基于网络攻击流量数据构建不平衡数据集，将不平衡数据集中需要增强的小类别数据进行特征数据筛选，将筛选出的特征数据处理成维度相同的二进制数据串；

将二进制数据串输入到训练好的改进的生成对抗网络中进行数据增强；

对增强后的二进制数据串进行逆向处理，恢复成可读的原始特征形态数据，将该数据加入到上述不平衡数据集中，实现网络攻击流量数据增强。

2.如权利要求1所述的方法，其特征在于，对筛选出的特征数据进行处理的方法包括：对于类别型特征采取独热编码，对于连续型特征行归一化，对于离散型特征进行二值化处理。

3.如权利要求1所述的方法，其特征在于，生成器、编码器、鉴别器均包含全连接层、Dropout层和批量正则化层。

4.如权利要求1所述的方法，其特征在于，训练时调整生成器和鉴别器的参数的方法为：先固定鉴别器的参数，生成器生成数据，根据鉴别器的结果返回进行参数调整优化；再固定生成器的参数，将生成的数据输入到鉴别器，对鉴别器的参数进行调整优化。

5.如权利要求1所述的方法，其特征在于，改进的生成对抗网络中的损失函数公式如下：

其中，W表示损失；P_r,P_g分别表示真实数据r的分布和生成数据g的分布，Π(P_r,P_g)表示二者的联合分布；x,y表示在联合分布γ上的一个采样点，||x-y||表示两个采样点之间的距离；E表示计算两个分布之间任意采样点距离的期望，找到所有联合分布中距离的下界。

6.如权利要求5所述的方法，其特征在于，改进的生成对抗网络中的损失函数采用EM距离，代替标准生成对抗网络GAN中的JS散度。

7.如权利要求1所述的方法，其特征在于，对增强后的二进制数据串进行逆向处理，包括：类别特征根据编码还原，连续特征根据保存的参数还原，离散特征根据固定位数的二值化后的数据进行还原。

8.如权利要求1所述的方法，其特征在于，不平衡数据集包含通信特征，该通信特征包括IP、端口、数据包长度、个数、会话时间及统计特征。

9.如权利要求1所述的方法，其特征在于，不平衡数据集的数据格式为CSV格式文件。

10.一种结合自编码器和WGAN的网络攻击流量数据增强系统，其特征在于，包括：

特征处理模块，用于将基于网络攻击流量数据构建不平衡数据集中需要增强的小类别数据进行特征数据筛选，将筛选出的特征数据处理成维度相同的二进制数据串；

数据生成模块，由改进的生成对抗网络构成，该改进的生成对抗网络包括生成器、鉴别器和编码器，用于将二进制数据串输入到训练好的改进的生成对抗网络中进行数据增强；

特征恢复模块，对增强后的二进制数据串进行逆向处理，恢复成可读的原始特征形态数据，将该数据加入到上述不平衡数据集中，实现网络攻击流量数据增强。

Images