CN112434298A - 一种基于自编码器集成的网络威胁检测系统 - Google Patents

Abstract

本发明公开了一种基于自编码器集成的网络威胁检测系统，该系统包括：网络数据获取模块，用于从互联网或者本地文件中获取网络流量数据特征提取模块，用来提取流量特征生成特征向量；特征聚类模块，根据相关性对特征分组；威胁检测模块，使用基于自编码器的集成模型检测流量异常；威胁判别模块，用于对网络威胁做出判断。本发明使用无监督的深度学习算法，通过改进现有的自编码器算法进行网络威胁检测，实现了对未知威胁的检测，在提高了模型的检测准确率、模型的实时性的同时减少了自编码器等神经网络算法的时间复杂度，其实现方法简单，手段灵活，能有效检测网络威胁，且与具体的硬件无关。

Description

一种基于自编码器集成的网络威胁检测系统

技术领域

本发明涉及计算机网络安全技术领域，尤其涉及一种基于自编码器集成的网络威胁检测方法。

背景技术

互联网的飞速发展为人们的生活带来了便利，为企业发展带来了机遇，但同时网络也为现代社会带来了新的威胁。各种层面的网络威胁层出不穷，病毒、木马、DDoS等攻击严重威胁着个人和企业的安全与利益。能够及时发现并成功阻止网络威胁所带来的损失是网络安全领域内重要的研究课题。

传统的网络威胁检测手段大都是基于签名的，这一类算法对已知威胁有着很好的检测效果，但是对于未知威胁的检测效果却往往不尽人意。而网络威胁的更新换代速度极快，如何快速发现新的网络威胁是网络威胁检测系统现在所面临的问题。

发明内容

本发明的目的在于针对现有技术的不足，采用集成学习和掩码机制，综合多种自编码器网络的特点实现对已知和未知网络威胁的检测，提出了一种基于自编码器集成的网络威胁检测系统，有效提高威胁检测的泛化性和准确性，并减少了自编码器等神经网络算法的时间复杂度。

本发明的目的是通过以下技术方案来实现的：一种基于自编码器集成的网络威胁检测系统，包括：

网络数据获取模块，用于从互联网或者本地文件中获取网络流量数据；

特征提取模块，用于提取上述网络流量数据中每个会话的特征信息并对特征进行数据清洗和归一化处理；

特征聚类模块，用于将提取的特征进行聚类组合，根据特征间的相关性或者特征与特定攻击的关系形成不同的特征子集（供威胁检测模块建立模型）；

威胁检测模块，用于调用异常检测模型，所述异常检测模型采用异常分衡量网络流量的异常程度，其中，所述异常检测模型包括T+1个自编码器，T为特征子集数，T个自编码器用于根据对应特征子集为每一个会话得到T个异常分，1个自编码器用于综合T个自编码器的输出得到最后的异常分；

威胁判别模块，用于最终判断网络流量是正常流量还是网络威胁；使用正常流量异常分的分布规律获得阈值，对未知流量是否为异常做出最终判断，其中，阈值可以根据经验或者仿真结果进行确定。

利用这种基于深度学习的集成模型可以对正常的网络行为进行刻画，进而对捕捉到的网络流量进行异常检测，获取网络中可能威胁网络安全的威胁事件，包括已知的网络威胁和潜在的未知威胁。

进一步地，所述网络流量数据中每个会话的特征信息包括网络流量中每个会话的五元组和统计信息；所述五元组包括源IP地址，目的IP地址，源端口，目的端口，传输层协议；所述统计信息包括前向包和总流量的数据包数，字节数，包长度，会话持续时间，包的间隔时间，标志位计数（对于UDP协议的数据包该特征都为0），窗口大小，活跃时间。

进一步地，所述统计信息具体包括该会话的目的端口、传输层协议、流的持续时间、前向包数量、前向包长度之和、前向包长度的最大值、前向包长度的最小值、前向包长度的均值、每秒的比特数、每秒的包数、两个包之间间隔时间的平均值、两个包之间间隔时间的标准差、两个包之间间隔时间的最大值、两个包之间间隔时间的最小值、前向包间隔时间之和、前向包间隔时间的均值、前向包间隔时间的标准差、前向包间隔时间的最大值、前向包间隔时间的最小值、前向PSH位计数、前向URG位计数、前向包包头长度、每秒的前向包数、包长度的最小值、包长度的最大值、包长度的平均值、包长度的标准差、包长度的方差、FIN包的数目、SYN包的数目、RST包的数目、PSH包的数目、ACK包的数目、URG包的数目、CWE包的数目、ECE包的数目、包大小的平均值、前向分段的平均比特数、前向包的平均比特数与批量速率之比、前向包的平均包数与批量速率之比、前向平均批量速率、前向子流的包数、前向子流的比特数、前向窗口的初始比特数、后向窗口的初始比特数、前向活跃数据包数、前向分段的最小比特数、平均空闲时间、最大空闲时间、最小空闲时间。

其中，两个包之间间隔时间具体是指两个包抵达时间的时间间隔。

进一步地，所述特征聚类模块采用层次聚类，根据特征的相关度和与攻击的关系对特征自动进行聚类分组；特征的相关度或特征与攻击的关系使用皮尔森相关系数进行衡量。

进一步地，所述异常检测模型采用掩码机制，对输入数据的任一维度信息以随机概率进行掩码处理，可以增强自编码器的泛化性能，使得自编码器可以适应未知的输入数据，提高性能。

进一步地，所述自编码器的结构为：编码器-记忆映射网络-记忆单元-解码器，其中记忆单元用于记录具有不同分布的正常样本的编码器输出隐变量的分布，记忆映射网络用于将编码器的输出映射成记忆单元的地址，解码器根据映射的记忆单元的地址还原记忆单元的内容作为自编码器的输出。

进一步地，异常分的分布大体上符合正态分布，因此可以依据3σ准则认为异常分大于正常训练数据异常分的均值3σ的流量为未异常流量。

进一步地，所述威胁检测模块是本发明的核心之一，所述威胁检测模块具体包括两个子模块：

1）T个自编码器构成的集成单元，用于对不同特征子集进行异常检测。每个自编码器的作用是发现与对应的特征子集内特征相关的网络威胁，针对每一个五元组确定的会话获得T个异常分，T为特征子集的数目。

2）1个自编码器构成的输出单元，用于综合集成单元的所有输出做出最终的判断。即根据集成单元所计算的T个异常分得到最后的异常分。

集成单元和输出单元都以自编码器的重构误差作为异常分，计算公式为：

式中L(x, z)为重构误差，x为自编码器的输入向量，在集成单元中对应于每个特征子集构成的向量，在输出单元中对应于集成单元的输出向量，z为自编码器的输出向量，m为输入向量和输出向量的特征数。

其中，采用自编码器结构构成异常检测模型，可以保证整个异常检测模型在训练时无监督，无监督不但有更好的泛化能力，而且不需要人工制作标签，便于推广应用。

特征聚类模块与威胁检测模块的结合是本发明的另一核心，与传统简单的串联或者并联的网络结构模式不同，本发明利用特征聚类模块对特征进行聚类，并采用与聚类数目对应的自编码器数目对每类特征进行威胁检测，一方面能更好地划分特征，使得检测更加准确，另一方面可以有效减少自编码器神经网络算法的时间复杂度，具体说明如下：

设原始特征的维度为M，经过聚类后分为n（n>1）组，每一组的特征维度为{m ₁,m ₂,…m _n}，其中M= m ₁+ m ₂+,…+m _n。自编码器是一种全连接神经网络，全连接神经网络中的第l层的复杂度为O(k _l ·k _l+1)，其中k _l 代表第l层神经网络的神经元数。因此，执行单个自编码器的复杂度为O(m·βm+βm·m)= O(m ²)，其中m代表自编码器的输入维度，β代表自编码器隐藏层的压缩比。

而本发明分组后的威胁检测模块集成算法的复杂度为集成单元的时间复杂度O(m ₁ ²+m ₂ ² +…+ m _n ²)与输出单元的时间复杂度O(n ²)之和，n为层次聚类后的组数。使用层次聚类算法可以指定聚类的最大特征数 m _max，使得威胁检测模块集成算法的复杂度O(m ₁ ²+m ₂ ² +…+ m _n ²) ≤O(n·(m _max) ²)= O(n)。因此威胁检测模块集成算法的时间复杂度小于等于O(n ²+n)= O(n ²)，当且仅当m _max =1时，本发明的威胁检测模块集成算法的时间复杂度才会与原始自编码器的复杂度O(M²)相等。

综上，本发明的有益效果是：本发明使用无监督的深度学习算法进行网络威胁检测，实现了对未知威胁的检测。设计新的集成结构和掩码规则，提高了模型的检测准确率并减少了算法的时间复杂度，其实现方法简单，手段灵活，能有效检测网络威胁，且与具体的硬件无关。

附图说明

图1是基于自编码器集成的网络威胁检测系统及检测流程图；

图2为本发明威胁检测模块的框架结构图；

图3为正常流量异常分的分布规律图；

图4为加入记忆单元后的自编码器的结构。

具体实施方式

下面根据附图详细说明本发明。

如图1所示，本发明基于自编码器集成的网络威胁检测系统，包括网络数据获取模块、特征提取模块、特征聚类模块、威胁检测模块；该系统检测时具体包括以下步骤：

步骤一：网络流量数据经过网络数据获取模块以PCAP文件的形式被保存。

步骤二：特征提取模块对原始网络流量数据中每个会话进行特征提取，并进行数据清洗和归一化处理；具体地，使用特征提取模块将原始网络流量数据中每个会话转化为以五元组为索引包含51个特征的特征向量形式。其中，所述五元组包括源IP地址，目的IP地址，源端口，目的端口，传输层协议；将一些无效的特征替换为0并分别对每个特征进行归一化。

步骤三：使用特征聚类模块，根据提取的网络数据对特征进行聚类。

根据特征间的相似度使用层次聚类算法对特征进行聚类，特征间的相似度计算公式具体如下：

式中d(v ₁,v ₂)是特征v ₁和特征v ₂之间的相关度，v _i ，i=1,2，是特征的值向量，

是特征值 向量的均值，

是向量v _i 的二范数。

其中，可以设定特征聚类中每一个特征子集的特征数上限和下限，根据特征子集的特征数上限进行层次聚类，聚类完成后如果存在不满足下限的特征子集则使用随机对它们进行分组使每一组特征的数目到达下限。针对特定的攻击类型可以对特征自定义组合，实现针对特定攻击的异常检测。

步骤四：使用威胁检测模块调用异常检测模型对网络流量进行异常检测。

该步骤是本发明的核心，参见图2，异常检测模型包括集成单元和输出单元，集成单元用于对不同特征子集进行异常检测。集成单元由T个自编码器组成，T为特征子集的数目；每个自编码器的作用是发现与之对应的特征子集内特征相关的网络威胁，针对每一个五元组确定的会话获得与特征子集的数目相对应的异常分。输出单元用于综合集成单元的所有输出做出最终的判断。输出单元使用自编码器结构的神经网络，根据集成单元所计算的异常分得到最后的异常分。

其中，传统自编码器只学习到了正常样本的行为，但大量正常样本可能会服从相同的分布，为了提升自编码器的异常检测能力，本实施例中采用在编码器与解码器之间加入记忆单元的自编码器结构，如图4所示，该结构具体为：编码器-记忆映射网络-记忆单元-解码器，在隐藏层——即编码器之后加入了记忆单元来记忆不同的正常流量训练数据编码器输出的隐变量的分布。记忆单元的维数与隐藏层相同，记录了不同分布的正常样本的分布。通过调节记忆单元的数量，可以适应不同的应用场景的数据。同时利用全连接神经网络作为记忆映射网络将编码器的输出映射成记忆单元中的地址，表示如下：

w=f _M (q)

其中，q为编码器的输出向量，f _M (q)是记忆映射网络学习的映射函数，w是记忆单元中的地址向量。

然后，解码器根据映射的记忆单元的地址还原记忆单元的内容作为自编码器的输出，表示如下：

z=w•M

其中，M是记忆单元记录的内容，z为解码器的输出向量。

由于记忆单元中的样本的分布和异常样本的分布不一致，与常规的自编码器相比，会产生更大的重构误差，从而有效提升异常检测能力。

由上述自编码器构成的异常检测模型训练阶段和执行阶段分为以下子步骤。

1）训练阶段

(1.1) 建立集成单元：根据特征聚类模块得到的不同特征子集建立不同的自编码器。自编码器的输入维度等于对应特征子集中的特征数。在训练之前会对每个数据加入掩码噪声。

(1.2) 训练集成单元：采用收集的正常流量的特征信息作为训练集，使用自编码器的重构误差作为训练误差，训练过程中最小化训练集上的重构误差，记忆单元也会跟随反向传播进行更新，并记录获得一个或多个正常流量下编码器输出的隐变量的分布；重构误差的计算如下：

式中L(x, z)为重构误差，x为各自编码器对应的特征子集构成的向量，z为自编码器的输出向量，m为输入向量和输出向量的特征数。

（1.3）得到输出单元的训练集：在训练集上执行集成单元，得到的异常分构成了输出单元的训练集。

（1.4）训练输出单元：使用步骤（1.3）得到的训练集训练输出单元。输出单元也使用重构误差作为损失函数。

2）执行阶段

（2.1）对未知网络流量聚类分组后的特征增加掩码噪声：对获取的未知网络流量提取的特征聚类分组后的每一个特征向量都增加一个随机的掩码噪声。

（2.2）计算集成单元的异常分：使用集成单元的自编码器计算每一个特征子集上的重构误差作为异常分，将所有特征子集上的异常分组成一个新的特征向量。

（2.3）计算最终异常分：同样以重构误差为异常分，使用输出单元计算新的特征向量的异常分。

步骤五：使用威胁判别模块判断未知网络流量是否为恶意流量或异常流量。

根据威胁检测模块对训练数据中正常流量刻画得到的正常流量的异常分分布规律，可以根据分布或者经验得到异常分的阈值。如图3所示，对于异常分大于阈值的流量可以视为潜在的网络威胁并进行标记。为了具有通用性，异常分的分布大体上符合正态分布，因此可以依据3σ准则认为异常分大于训练数据异常分的均值3σ的流量为未异常流量。

本发明通过如下配置进行实验，制作了包括9种DDoS攻击和良性流量的百万级流量数据集；将良性流量数据集随机划分为训练集和测试集，分别执行多次取平均召回率。当聚类特征数的上限设为10时，在保证良性流量的召回率在95%时，攻击流量的召回率如下表1所示，表明本发明可以有效的检测出各种攻击流量。

表1 本发明在百万级流量数据集下的部分攻击的检测结果

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (7)

1.一种基于自编码器集成的网络威胁检测系统，其特征是，包括：

网络数据获取模块，用于从互联网或者本地文件中获取网络流量数据；

特征提取模块，用于提取网络流量数据中每个会话的特征信息并进行数据清洗和归一化处理；

特征聚类模块，用于将提取的特征进行聚类组合，根据特征间的相关性或者特征与特定攻击的关系形成不同的特征子集；

威胁检测模块，用于调用异常检测模型，所述异常检测模型采用异常分衡量网络流量的异常程度，从而检测网络中可能威胁网络安全的威胁事件，包括已知的网络威胁和潜在的未知威胁；其中，所述异常检测模型包括T+1个自编码器，T为特征子集数，T个自编码器用于根据对应特征子集为每一个会话得到T个异常分，1个自编码器用于综合T个自编码器的输出得到最后的异常分；

威胁判别模块，用于根据正常流量异常分的分布规律，对威胁检测模块检测的未知流量是否为异常做出最终判断。

2.根据权利要求1所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述网络流量数据中每个会话的特征信息包括网络流量中每个会话的五元组和统计信息；所述统计信息包括前向包和总流量的数据包数，字节数，包长度，会话持续时间，包的间隔时间，标志位计数，窗口大小，活跃时间。

3.根据权利要求2所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述统计信息具体包括该会话的目的端口、传输层协议、流的持续时间、前向包数量、前向包长度之和、前向包长度的最大值、前向包长度的最小值、前向包长度的均值、每秒的比特数、每秒的包数、两个包之间间隔时间的平均值、两个包之间间隔时间的标准差、两个包之间间隔时间的最大值、两个包之间间隔时间的最小值、前向包间隔时间之和、前向包间隔时间的均值、前向包间隔时间的标准差、前向包间隔时间的最大值、前向包间隔时间的最小值、前向PSH位计数、前向URG位计数、前向包包头长度、每秒的前向包数、包长度的最小值、包长度的最大值、包长度的平均值、包长度的标准差、包长度的方差、FIN包的数目、SYN包的数目、RST包的数目、PSH包的数目、ACK包的数目、URG包的数目、CWE包的数目、ECE包的数目、包大小的平均值、前向分段的平均比特数、前向包的平均比特数与批量速率之比、前向包的平均包数与批量速率之比、前向平均批量速率、前向子流的包数、前向子流的比特数、前向窗口的初始比特数、后向窗口的初始比特数、前向活跃数据包数、前向分段的最小比特数、平均空闲时间、最大空闲时间、最小空闲时间。

4.根据权利要求1所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述特征聚类模块采用层次聚类，根据特征的相关度和与攻击的关系对特征自动进行聚类分组；其中，特征的相关度或特征与攻击的关系使用皮尔森相关系数进行衡量，形成不同的特征子集。

5.根据权利要求1所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述异常分通过自编码器的重构误差计算获得，计算公式为：

式中L(x, z)为重构误差，x为自编码器的输入向量，z为自编码器的输出向量，m为输入向量和输出向量的特征数。

6.根据权利要求1所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述自编码器的结构为：编码器-记忆映射网络-记忆单元-解码器，其中记忆单元用于记录具有不同分布的正常样本的编码器输出隐变量的分布，记忆映射网络用于将编码器的输出映射成记忆单元的地址，解码器根据映射的记忆单元的地址还原记忆单元的内容作为自编码器的输出。

7.根据权利要求1所述的基于自编码器集成的网络威胁检测系统，其特征在于，所述异常检测模型的输入数据的任一维度信息以随机概率进行掩码处理。

Images