CN107948166A - 基于深度学习的流量异常检测方法及装置 - Google Patents

Abstract

本发明提供了一种基于深度学习的流量异常检测方法及装置，所述方法通过对网络流量数据进行分段处理，对分段的流量数据进行统计，分类出正常与异常的流量数据，并分别对正常与异常流量数据进行标识，将标识的流量数据导入深度神经网络流量训练模型进行学习，得到一个深度神经网络流量预测模型，深度神经网络流量预测模型实现异常流量的预测判断，克服了传统人工监控和阈值预警的低效率及延迟长的缺点，并且深度神经网络能自己从大量数据中提取有用的数据特征，避免了人工对流量数据特征提取困难的问题。

Description

基于深度学习的流量异常检测方法及装置

技术领域

本发明涉及一种流量异常检测方法及装置，尤其是指一种基于深度学习的流量异常检测方法及装置。

背景技术

对于网络系统，用户的网络流量具有不确定性，系统可能因为内部问题导致访问流量下降，也可能受到网络攻击而导致流量大增。这些不常规的流量暂且称为异常流量，对于异常流量的检测，传统的处理方式主要是通过人工监控或系统设置阈值进行预警。人工监控和阈值预警机制效率低、延迟长且阈值不容易确定。

发明内容

本发明所要解决的技术问题是：流量异常检测的准确率不高的问题。

为了解决上述技术问题，本发明采用的技术方案为：一种基于深度学习的流量异常检测方法，包括训练流程和预测流程，

训练流程包括，

S10)、获取历史的网络流量数据；

S20)、对网络流量数据进行分段处理，统计每段网络流量数据；

S30)、对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

S40)、分别对正常网络流量数据与异常网络流量数据作标识；

S50)、将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

所述预测流程包括，

S70)、将待预测的网络流量数据导入深度神经网络流量预测模型；

S80)、深度神经网络流量预测模型计算出网络流量异常的概率；

S90)、分别输出网络流量正常与异常的概率。

优选地，步骤S20，对网络流量数据进行分段处理的时间间隔相同。

优选地，所述步骤S50后还包括步骤，

S60)、将深度神经网络流量预测模型生成保存文件进行保存。

优选地，所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

优选地，以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。

为解决上述技术问题，本发明采用的另一个技术方案为：一种基于深度学习的流量异常检测装置，它包括：

数据获取模块，用于获取历史的网络流量数据；

数据处理模块，用于对网络流量数据进行分段处理，统计每段网络流量数据；

数据分类模块，用于对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

数据标识模块，用于分别对正常网络流量数据与异常网络流量数据作标识；

深度神经网络流量训练模型，用于将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

数据导入模块，用于将待预测的网络流量数据导入深度神经网络流量预测模型；

深度神经网络流量预测模型，用于计算出网络流量异常的概率；

输出层，分别输出网络流量正常与异常的概率。

优选地，基于深度学习的流量异常检测装置，它包括：

数据处理模块，用于对网络流量数据按相同的时间间隔进行分段处理。

优选地，基于深度学习的流量异常检测装置，它包括：

文件保存模块，用于将深度神经网络流量预测模型生成保存文件进行保存。

优选地，所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

优选地，基于深度学习的流量异常检测装置，它包括：

数据输入模块，用于以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。

本技术方案公开的一种基于深度学习的流量异常检测方法，该方法通过深度神经网络来学习网络流量数据的特征，充分刻画数据丰富的内在信息，提高了网络流量检测的准确率。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的方法流程图；

图2为本发明的深度神经网络结构图；

图3为本发明的流量数据分段图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

参考图1，一种基于深度学习的流量异常检测方法，包括训练流程和预测流程，

训练流程包括，

S10)、获取历史的网络流量数据；

S20)、对网络流量数据进行分段处理，统计每段网络流量数据；

S30)、对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

S40)、分别对正常网络流量数据与异常网络流量数据作标识；

S50)、将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

所述预测流程包括，

S70)、将待预测的网络流量数据导入深度神经网络流量预测模型；

S80)、深度神经网络流量预测模型计算出网络流量异常的概率；

S90)、分别输出网络流量正常与异常的概率。

具体地，本方案对获取的历史网络流量数据进行分段处理，这里的分段处理的时间间隔为1分钟，统计每分钟的流量数据，并将流量数据按照时间顺序排列，并对每分钟的流量数据进行分类，区分出哪些流量数据是正常的，哪些流量数据是异常的，对正常和异常的数据作不同的标识，目的是让深度神经网络训练模型能够识别到哪些流量数据是正常的，哪些流量数据是异常的，深度神经网络训练模型能够对正常与异常的流量数据进行数据特征分类提取，训练好的模型为深度神经网络流量预测模型，将准备好的待预测的网络流量数据到入该模型中，深度神经网络流量预测模型能够计算出待预测的网络流量数据是否为异常，并将异常的概率输出。

实施例一

参考图1，图3，步骤S20，对网络流量数据进行分段处理的时间间隔相同。将获取到历史的流量数据，比如半年或三个月的流量数据，该流量数据时间间隔为30秒或1分钟，将其按照时间顺序排列起来，比如某一天的数据，每一天的第一分钟认为是第一时刻，第二分钟认为是第二时刻，以此类推，一天一共有1440个时刻的流量数据，流量数据越多，神经网络流量训练模型学习到的数据特征就越丰富，提高网络流量预测的准确率。

实施例二

优选地，所述步骤S50后还包括步骤，

将深度神经网络流量预测模型生成保存文件进行保存，保存好的深度神经网络流量预测模型能够方便拷贝到不同的应用平台使用。

实施例三

参考图2，所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

实施例四

参考图2，图3，以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。将获取到的半年或三个月的流量数据，该数据的分段时间间隔为30秒或1分钟，将其按照时间排列起来，比如某一天的数据，每一天的第一分钟认为是第一时刻，第二分钟认为是第二时刻，以此类推，一天一共有1440个时刻；而训练时的样本可以这样分：[1，2，3，4，5]五个时刻为一个样本的特征输入，[2，3，4，5，6]五个时刻为一个样本的特征输入，可以看成是一个5个时刻的窗口一步一步移动。此外还需要人工标识每个时刻的流量数据是否是正常的流量，通过人工标识这些流量是否正常是为了让机器学习什么情况下的流量数据是正常的，什么情况下的流量数据是异常的。

为解决上述技术问题，本发明采用的另一个技术方案为：一种基于深度学习的流量异常检测装置，它包括：

数据获取模块，用于获取历史的网络流量数据；

数据处理模块，用于对网络流量数据进行分段处理，统计每段网络流量数据；

数据分类模块，用于对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

数据标识模块，用于分别对正常网络流量数据与异常网络流量数据作标识；

深度神经网络流量训练模型，用于将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

数据导入模块，用于将待预测的网络流量数据导入深度神经网络流量预测模型；

深度神经网络流量预测模型，用于计算出网络流量异常的概率；

输出层，分别输出网络流量正常与异常的概率。

具体地，数据获取模块获取历史网络流量数据，数据处理模块对网络流量数据进行分段处理，统计每分钟的流量数据，这里的分段处理的时间间隔为1分钟，并将流量数据按照时间顺序排列，数据分类模块对每分钟的流量数据进行分类，区分出哪些流量数据是正常的，哪些流量数据是异常的，数据标识模块对正常和异常的数据作不同的标识，目的是让深度神经网络训练模型能够识别到哪些流量数据是正常的，哪些流量数据是异常的，深度神经网络训练模型能够对正常与异常的流量数据进行数据特征分类提取，训练好的模型为深度神经网络流量预测模型，数据导入模块将准备好的待预测的网络流量数据到入该模型中，深度神经网络流量预测模型能够计算出待预测的网络流量数据是否为异常，输出层将网络流量数据正常与异常的概率输出。

实施例五

优选地，基于深度学习的流量异常检测装置，它包括：

数据处理模块，用于对网络流量数据按相同的时间间隔进行分段处理。将获取到历史的流量数据，比如半年或三个月的流量数据，该流量数据时间间隔为30秒或1分钟，将其按照时间顺序排列起来，比如某一天的数据，每一天的第一分钟认为是第一时刻，第二分钟认为是第二时刻，以此类推，一天一共有1440个时刻的流量数据，流量数据越多，神经网络流量训练模型学习到的数据特征就越丰富，提高网络流量预测的准确率。

实施例六

优选地，基于深度学习的流量异常检测装置，它包括：

文件保存模块，用于将深度神经网络流量预测模型生成保存文件进行保存，保存好的深度神经网络流量预测模型能够方便拷贝到不同的应用平台使用。

实施例七

参考图2，所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

实施例八

参考图2，图3，基于深度学习的流量异常检测装置，它包括：

数据输入模块，用于以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。具体地，将获取到的半年或三个月的流量数据，该数据的分段时间间隔为30秒或1分钟，将其按照时间排列起来，比如某一天的数据，每一天的第一分钟认为是第一时刻，第二分钟认为是第二时刻，以此类推，一天一共有1440个时刻；而训练时的样本可以这样分：[1，2，3，4，5]五个时刻为一个样本的特征输入，[2，3，4，5，6]五个时刻为一个样本的特征输入，可以看成是一个5个时刻的窗口一步一步移动。此外还需要人工标识每个时刻的流量数据是否是正常的流量，通过人工标识这些流量是否正常是为了让机器学习什么情况下的流量数据是正常的，什么情况下的流量数据是异常的。

综上所述，本发明通过对网络流量数据进行分段处理，对分段的流量数据进行统计，分类出正常与异常的流量数据，并分别对正常与异常流量数据进行标识，将标识的流量数据导入深度神经网络流量训练模型进行学习，得到一个深度神经网络流量预测模型，深度神经网络流量预测模型实现异常流量的预测判断，克服了传统人工监控和阈值预警的低效率及延迟长的缺点，并且深度神经网络能自己从大量数据中提取有用的数据特征，避免了人工对流量数据特征提取困难的问题。

此处第一、第二……只代表其名称的区分，不代表它们的重要程度和位置有什么不同。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的流量异常检测方法，其特征在于：包括训练流程和预测流程，

训练流程包括，

S10)、获取历史的网络流量数据；

S20)、对网络流量数据进行分段处理，统计每段网络流量数据；

S30)、对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

S40)、分别对正常网络流量数据与异常网络流量数据作标识；

S50)、将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

所述预测流程包括，

S70)、将待预测的网络流量数据导入深度神经网络流量预测模型；

S80)、深度神经网络流量预测模型计算出网络流量异常的概率；

S90)、分别输出网络流量正常与异常的概率。

2.如权利要求1所述的基于深度学习的流量异常检测方法，其特征在于，步骤S20，对网络流量数据进行分段处理的时间间隔相同。

3.如权利要求1所述的基于深度学习的流量异常检测方法，其特征在于，所述步骤S50后还包括步骤，

S60)、将深度神经网络流量预测模型生成保存文件进行保存。

4.如权利要求1所述的基于深度学习的流量异常检测方法，其特征在于：所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

5.如权利要求4所述的基于深度学习的流量异常检测方法，其特征在于：以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。

6.一种基于深度学习的流量异常检测装置，其特征在于，它包括：

数据获取模块，用于获取历史的网络流量数据；

数据处理模块，用于对网络流量数据进行分段处理，统计每段网络流量数据；

数据分类模块，用于对分段处理的网络流量数据进行分类，一类为正常网络流量数据，另一类为异常网络流量数据；

数据标识模块，用于分别对正常网络流量数据与异常网络流量数据作标识；

深度神经网络流量训练模型，用于将网络流量数据输入深度神经网络流量训练模型进行训练，得到一个深度神经网络流量预测模型；

数据导入模块，用于将待预测的网络流量数据导入深度神经网络流量预测模型；

深度神经网络流量预测模型，用于计算出网络流量异常的概率；

输出层，分别输出网络流量正常与异常的概率。

7.如权利要求6所述的基于深度学习的流量异常检测装置，其特征在于，它包括：

数据处理模块，用于对网络流量数据按相同的时间间隔进行分段处理。

8.如权利要求6所述的基于深度学习的流量异常检测装置，其特征在于，它包括：

文件保存模块，用于将深度神经网络流量预测模型生成保存文件进行保存。

9.如权利要求6所述的基于深度学习的流量异常检测装置，其特征在于，所述深度神经网络流量训练模型设有4层，为依次连接的输入层、第一隐层、第二隐层、输出层，输入层设有5个神经元，第一隐层设有8个神经元，第二隐层设有8个神经元，输出层设有2个神经元；所述输入层的神经元与第一隐层的神经元相互连接，所述第一隐层的神经元与所述第二隐层的神经元相互连接，所述第二隐层的神经元与所述输出层的神经元相互连接。

10.如权利要求9所述的基于深度学习的流量异常检测装置，其特征在于，它包括：

数据输入模块，用于以t时刻为当前时刻，将t到t-4时刻的流量数据从输入层输入深度神经网络流量训练模型。