CN109639739B - 一种基于自动编码器网络的异常流量检测方法 - Google Patents

Abstract

一种基于自动编码器网络的异常流量检测方法，属于计算机网络和机器学习的交叉领域。本发明首先通过流量数据获取模块捕获数据；其次，通过数据预处理模块对数据进行预处理；再次，通过改进的多自动编码器网络输出流量数据的哈希编码；最后，采用基于数据分布比例的检测模块对得到的哈希编码进行异常检测多分类。本发明结合了神经网络和哈希编码的优势，利用哈希编码技术不仅降低了消耗的的存储空间和计算资源，还将只能应用于二分类入侵检测场景的KitNET自动编码器网络改进为多分类入侵检测方法，并设计了基于数据分布比例的流量哈希编码分类方法。本方法能够改善异常检测技术的运行速率及可扩展性，更适用解决当前新攻击类型层出不穷的异常检测问题。

Description

一种基于自动编码器网络的异常流量检测方法

技术领域

本发明属于计算机网络和机器学习的交叉领域，涉及一种基于自动编码器网络的异常流量检测方法。

背景技术

如今随着接入互联网的应用设备不断普及，越来越多的业务需要依赖网络完成，由于网络攻击手段及攻击规模不断的迭代发展，网络入侵成为网络空间面临的最大威胁之一。入侵检测的主要目标是识别出网络与计算机系统中的异常行为和企图，攻击的种类多种多样，同时随着互联网的发展，各种新型的攻击层出不穷，传统的基于特征的攻击检测在时效性和泛化性上的缺陷导致新的攻击无法检测，因而难以适应目前网络环境需求。随着半导体技术的发展，计算机的计算能力有了大幅度的提升，神经网络由于其优秀的自学习能力、非线性化能力在图像识别等领域取得了显著的成果，因此越来越多的入侵检测技术也采用神经网络来提高检测的准确率。

目前，由于可以自学习优秀的特征表达，因此基于神经网络的异常检测方法被认为是最合适的。然而，当基于神经网络的异常检测方法真正在现实的应用场景中实施时，仍然存在一些瓶颈与问题。

首先，目前出现的基于神经网络的异常检测方法都采用复杂的网络结构甚至是深度神经网络来学习已有样本的特征，这通常需要大量的资源和计算能力才能够完成，而且大部分算法都是以监督的方式来进行训练，标注数据类别的过程是十分耗费时间和精力的，并且每当出现新一类流量的时候，就需要重新训练整个神经网络，否则无法得到正确的分类，需要保证手动不断地更新模型，才可以得到一个高准确度的入侵检测系统。Mirsky提出的KitNET是一种基于神经网络的高效无监督异常检测算法，但是却只能用于二分类异常检测，无法预测出入侵流量的不同攻击类别，在应用场景中具有局限性。

其次，对于现实的互联网环境，流量数据通常具有以下特性：异常流量类别多，但数量远远少于正常流量数据，也就是说，正常流量数据和入侵数据在数量分布上通常是不平衡的，当前的大部分算法都没有考虑到数据分布的不平衡状态，只是简单的将数据通过训练好的神经网络进行分类，导致检测效果没有达到最佳。

综上，在当前新型入侵数据不断涌现的互联网环境中，实现稳定的多分类异常流量检测，需要一种扩展性强、灵活、鲁棒且快速的方法来作为支撑。

发明内容

为了克服上述不足，本发明提出一种基于自动编码器网络的异常流量检测方法，目的在于提高入侵检测技术的检测速率和可扩展性，降低占用的存储空间和所消耗的计算资源。本发明结合神经网络和大数据哈希编码的优势来对正常流量数据和入侵数据进行哈希编码，该过程是无监督的，然后在汉明空间实现基于KNN的多分类入侵检测算法。首先在KitNET工作基础上进行改进，构建可以对流量数据进行哈希编码的自动编码器网络，从而直接将输入的流量数据转换为对应的哈希编码，其中包括正常和异常的流量数据。该网络具有线上处理、无监督、低复杂度等特性，可以提高本发明中方法的可扩展性。其次，在得到流量数据的哈希编码之后，通过计算汉明距离来实现基于KNN的分类，这里考虑到数据的不平衡性，设计了按近邻比例计算来进行分类的方法，提升了异常检测的准确率，利用哈希编码技术可以有效解决KNN计算速度慢、占用内存高等问题。最后，利用近邻比例计算解决了数据不平衡性的问题。图1显示的是本发明的整体模块设计图。

为了达到上述目的，本发明所采用的技术方案如下：

一种基于自动编码器网络的异常流量检测方法，从图1中可以看出，本发明和其它基于机器学习的入侵检测方法不同，首次将哈希编码思想应用于入侵检测技术中，并且是基于所构建的自动编码器网络模型进行哈希编码。由于该算法是无监督的，因此在出现新类别的攻击流量时，不需要收集大量具有标签的新数据来重新训练网络，即达到“不重复训练”的目的。这里只需将少量新流量数据进行哈希编码之后加入到数据集中便能正确检测，另外将只能用于二分类检测的KitNET算法应用于多分类异常检测。

所述的网络入侵检测方法基于以下四个模块实现：流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块。首先，通过流量数据获取模块捕获互联网中的正常流数据和入侵数据；其次，通过数据预处理模块对已获取的数据进行合理的预处理，解决采集的原始数据出现的有噪音、不一致等缺陷；再次，通过基于自动编码器网络的哈希编码模块来获取训练集和测试集流量的哈希编码，该模块可以有效地追踪每个网络信道的模式；最后，采用基于数据比例的异常检测模块对得到的哈希编码进行分类，可以获得对正常和入侵数据的分类结果并对该异常检测方法性能进行评估。

所述的流量数据获取模块，该模块中需要采集各种不同来源的数据，数据的主要来源包括网络连接信息，基于时间的流量信息，基于主机的流量信息，日志信息。

所述的数据预处理模块，该模块中需要对数据采取一定的预处理手段，使数据一致，主要方法有one-hot编码，z-score标准化等方法。

所述的基于自动编码器网络的哈希编码模块，在本发明中，直接对已经训练好的KitNET神经网络的输出层的数据特征表示采用哈希编码技术进行哈希编码。KitNET算法是一个即插即用的一个非监督机器学习算法，它是由一个自动编码器的集合组成，在训练过程中不需要带有标签的网络数据，但原算法只能用于二分类检测问题，在本发明中将其最后输出层自动编码器中的隐藏层的输出提取出来作为输入数据的另一种特征表示并同时进行哈希编码，进而达到将只能进行二分类检测的KitNET算法改进成可用于多分类检测的算法。

所述的异常检测模块，在该模块中，需要对前面模块中得到的数据流量的哈希编码进行分类，最后还要对得到的分类结果进行评估；在该模块中，采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法来确定入侵数据的类别，实现异常检测多分类。另外，目前异常检测分类算法不会考虑到现实情况下正常数据多，入侵数据少的分布情况，我们也会考虑到这种可能出现的情况，因此会根据各个类别数据所占的比例进行优化异常检测分类算法。

本方法区别于已有方法的特色在于：

(1)本发明结合了神经网络和哈希编码的优势，通过对KitNET异常检测算法进行改进，来构建自动编码器网络模型直接输出流量数据的哈希编码，从而作为多类别异常流量检测的基础。首先基于KitNET的改进算法保留了本身很多良好的特性，例如无监督、在线处理、低复杂度、自学习和优秀的表达能力等。而且又进一步解决了KitNET只能实现二分类的局限性。其次，采用哈希编码来表示入侵检测中的网络数据，哈希编码占用空间很小，通常在哈希编码之间的比较只需要少量的机器指令即可完成，极大的减少了需要消耗的计算资源，而且更便于数据在网络环境中的流通。

(2)本发明中的异常检测分类方法采用基于数据分布比例的方法来确定入侵数据的类别，实现异常检测多分类，攻击检测本质上是一种分类问题，而该分类方法在原有的基础上，考虑的情况更加全面。例如在现实场景中，很多情况下正常类别网络数据的数量要远远超过不同攻击类别的入侵数据，而在基于机器学习的分类算法中，例如KNN算法，只是简单地算出训练集中前K个近似最近邻中出现次数最多的类别作为测试数据的类别这种做法是存在问题的，在本发明中考虑到不同类别在所有数据中的分布，优化检测分类算法，使得该入侵检测方法有更好的分类效果并能够更广泛地应用到实际场景中。

与当前基于机器学习的异常流量检测方法相比，本发明的有益效果为：(1)利用哈希编码可大大降低流量数据占用的存储空间和入侵检测技术中分类过程所消耗的计算资源，另外通过哈希编码也将原本只能用于入侵检测二分类的KitNET算法应用于入侵检测多分类的场景中；(2)在新攻击数据产生的环境下，无需反复训练分类器，提高了异常流量检测方法的运行速率以及可扩展性，同时设计了兼容性更高的基于数据分布比例的入侵检测分类方法，提升了检测分类效果。本方法更适用于解决当前新入侵类别数据层出不穷的互联网环境下的入侵检测问题。

附图说明

图1为本发明的整体模块设计图。

图2为本发明的基于自动编码器网络的异常流量检测应用图。

图3为本发明的基于自动编码器网络的哈希编码过程图。

具体实施方式

下面对本发明的实施方式进行详细说明。

一种基于自动编码器网络的异常流量检测方法，参照图2，该方法基于流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块四个模块实现，具体为：

(1)流量数据获取模块

寻找出有价值的可用数据信息是实现入侵检测的首要步骤，也是整个入侵检测的关键。入侵检测系统收集的数据信息主要来自不同的网段或主机，其中有关用户活动状态、网络系统等都是其主要的数据来源，为了让检测系统产生最大功效，并对攻击做出快速而准确的反应，这就要求数据信息具备一定的可靠性。该模块中可以通过一些现有的方法和工具来采集流量数据以及提取相应的特征。

(2)数据预处理模块

入侵检测结果的好坏不仅取决于检测算法，也取决于所使用的数据，因此就需要对初始数据进行合理的预处理。首先对采集数据的离散特征进行one-hot编码数值化，其编码方式是该属性有多少种取值，那么就用多少位状态寄存器表示，用独立的状态寄存器来存储状态，任意时刻，只有1位有效。其次，要对编码后的数据进行标准化，即将数据按照某种方法进行比例缩放，使特征数据都落入特定的数值空间，方便后续的计算，本发明采用的是z-score标准化，也叫均值标准化，公式如下：

其中μ和σ分别是原始数据x的均值和标准差。

(3)基于自动编码器网络的哈希编码模块

在本发明中，是对Mirsky提出的一种高效无监督的在线入侵检测框架Kitsune的核心异常检测算法KitNET改进成为输出为哈希编码的神经网络。KitNET算法使用了一组名为自动编码器(autoencoder)的神经网络，以集成方式区分正常和异常流量的模式，自动编码器是一种无监督的神经网络算法，通过训练这个网络，从而使输出尽可能接近输入，即尽可能重构输入样本。

改进后的KitNET网络结构可参考图3，结构主要分为全体层(Ensemble Layer)和输出层(Output Layer)，对于本发明，我们将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动，让其与哈希编码的位数一致，用于提取特征并将其进行哈希编码。该算法共分为两个阶段：训练阶段和执行阶段，对于神经网络的训练过程，虽然将神经网络的结构进行改动，但是仍然可以采用原算法的训练流程，利用反向传播训练算法先训练全体层，再训练输出层，其中目标函数是对于给定的自动编码器来说，使实例x向量的重建误差最小，可以用向量x和重建后的输出向量y的均方根误差RMSE(Root Mean Square Error)来表示，公式如下：

其中，n是输入向量x和向量y的维度大小。x_i为向量x的第i维，y_i为向量y的第i维。

在训练阶段得到训练好的多编码器神经网络模型，在执行阶段可以直接通过该模型得到哈希编码，流程可参考图3，具体如下：

首先，将预处理后的训练和测试数据集输入到改进后的多编码器网络模型中，将每条数据作为一条实例，并将实例的特征映射到集合的可见神经元。其次，全体层的每个自动编码器尝试重构实例的特性，并根据均方根误差(RMSE)计算重构误差。再次，将RMSE转发到输出层的自动编码器，该编码器作为集成的非线性投票机制，在本发明中，我们只需要提取最后输出层的自动编码器隐藏层的数据特征表示，特征表示位数已经在训练阶段设置成为与哈希编码位数相同。最后，由于在前面的计算中已经将隐藏层的值进行0-1标准化，因此只需将特征表示进行整体平移到[-1,1]区间，并将大于0的数值设置为1，小于0的数值设置为0，即可得到数据的哈希编码，此步骤也可以替换成其它现有的无监督哈希编码算法。

基于自动编码器网络的哈希编码模块的执行(execution)算法流程如下：

其中，L⁽¹⁾定义了一个有序集合来表示全体层，即L⁽¹⁾＝{θ₁,θ₂,...,θ_k}，由k个自动编码器构成，每个编码器有三层，分别是输入层、隐藏层和输出层；L⁽²⁾是表示输出层，定义了一个自动编码器θ₀，有k个输入和输出神经元，有c个内神经元(与哈希编码长度相同)；v是输入的数据向量。

(4)异常检测模块

在图2的第四阶段处理的任务是根据训练集数据对测试集进行异常检测多分类，得出预测类别，在上一阶段得到的是训练集和测试集的哈希编码，因此我们需要在哈明空间进行分类算法，在本发明中，采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法。其中，基于哈明半径r的近似最近邻查找方法的具体执行步骤如下：

根据以上算法可以得到测试数据集的近似最近邻集合，在本发明中，通过分析现实场景可以发现，在入侵检测环境下，通常正常数据的数量要远远超过异常数据的数量，因此按照类别来分，会有数据分布不平衡的现象，在基于机器学习的分类算法中，例如KNN算法，只是简单地算出训练集中前K个近似最近邻中出现次数最多的类别作为测试数据的类别，这种做法是存在问题的。本发明在原有的基础上，同时考虑到数据分布的情况，采用基于数据分布比例的KNN分类方法来确定入侵数据的类别，即不采用近似最近邻中出现次数最多的类别作为测试数据的类别，而是根据数据点g的近似最近邻集合，得到每个类别出现近似最近邻的数量占在训练集中该类别数据的总数量的比例，将比例最高的类别作为测试数据点的类别，该方法避免了由于数据分布不均衡导致检测效果较差的问题。本方法仍然采用的是KNN(K-Nearest Neighbor)算法的核心思想，即它没有一个显式的学习过程，因此面对流量入侵检测这个不断变化的应用场景，该算法十分适用，即使有新类别的攻击数据不断加入，该算法也能够正确分类。

通过异常检测分类模块可以得到整个测试样本的检测结果，我们可以将入侵检测分类模块预测的结果与测试样本实际的类型进行比对得到准确度、精确度、召回率和F1值等入侵检测系统的评价指标，并且根据结果对上述步骤及参数进行调整。

以上本发明所述是基于自动编码器网络的异常流量检测方法，但是对于本领域的技术人员来说，在不脱离本发明构思的前提下，可以将基于自动编码器网络的哈希编码模块中得到的哈希编码直接用于互联网中的传输，在网关以及路由器当中设计合理的哈希索引，然后直接使用该哈希索引过滤不正常的流量数据，因为许多网络网关和路由器设备(它们可能承载一个入侵检测系统)根本没有内存或处理能力来训练甚至执行深度学习模型，那么只进行哈希编码的比对和处理大大降低了对设备的内存以及处理能力的要求。另外，对于本发明来说，还可以针对其他应用场景，来对该方法做出若干改进和变形。

Claims (3)

1.一种基于自动编码器网络的异常流量检测方法，其特征在于，所述的异常流量检测方法基于以下四个模块实现：流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块，该方法结合神经网络和哈希编码的优势，通过改进的多自动编码器网络模型直接输出流量数据的哈希编码，使用哈希编码技术降低时间复杂度和空间复杂度，并且将只能用于二分类检测的KitNET算法应用于多分类异常检测的应用场景中；

首先，通过流量数据获取模块捕获互联网中正常流量数据和异常数据；其次，通过数据预处理模块对数据进行合理的预处理，解决采集的原始数据出现的不一致缺陷；再次，通过基于自动编码器网络的哈希编码模块来训练流量数据集，可以有效地追踪每个网络信道的模式，在执行阶段可以直接输出数据集的哈希编码；最后，采用基于数据比例的检测模块对得到的哈希编码实现多分类，可以获得对流量数据的分类结果并对该异常流量检测方法性能进行评估；

所述的流量数据获取模块，该模块中需要采集各种不同来源的数据，数据的主要来源包括网络连接信息，基于时间的流量信息，基于主机的流量信息，日志信息；

所述的数据预处理模块，该模块中需要对数据进行预处理，使数据一致；

所述的基于自动编码器网络的哈希编码模块，该模块将无监督轻量级的异常检测KitNET算法进行改进，即将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动，让其与哈希编码的位数一致，用于提取特征并将其进行哈希编码，使该模块的输出直接为数据的哈希编码；

所述的异常检测模块，需要对前面模块中得到的数据流量的哈希编码进行分类，在该模块中，采用基于汉明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法来确定异常流量数据的类别，实现异常检测多分类。

2.根据权利要求1所述的一种基于自动编码器网络的异常流量检测方法，其特征在于，所述的数据预处理模块中的预处理方法包括one-hot编码，z-score标准化。

3.根据权利要求1或2所述的一种基于自动编码器网络的异常流量检测方法，其特征在于，所述的基于自动编码器网络的哈希编码模块中将无监督轻量级的异常检测KitNET算法进行改进，具体包括以下子步骤：

将KitNET算法改进成为输出为哈希编码的神经网络，改进后的KitNET网络结构主要分为全体层和输出层，将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动，让其与哈希编码的位数一致；该算法共分为两个阶段：训练阶段和执行阶段：神经网络的训练过程仍采用原算法训练流程，在训练阶段得到训练好的多编码器神经网络模型，在执行阶段直接通过该模型得到哈希编码，具体如下：

首先，将预处理后的训练和测试数据集输入到改进后的多编码器网络模型中，将每条数据作为一条实例，并将实例的特征映射到集合的可见神经元；其次，全体层的每个自动编码器尝试重构实例的特性，并根据均方根误差RMSE计算重构误差；再次，将RMSE转发到输出层的自动编码器，并提取最后输出层的自动编码器隐藏层的数据特征表示，特征表示位数已经在训练阶段设置成为与哈希编码位数相同；最后，将特征表示进行整体平移到[-1,1]区间，并将大于0的数值设置为1，小于0的数值设置为0，得到数据的哈希编码。

Images