CN112685473B - 一种基于时序分析技术的网络异常流量检测方法及其系统 - Google Patents

Abstract

本发明涉及一种基于时序分析技术的网络异常流量检测方法及其系统，属于网络流量数据研究技术领域，包括以下步骤：采用定时同步任务的方式采集数据中心上存储的计算机设备网络流量数据；对采集到的原始网络流量数据进行预处理，以降低网络流量异常检测分析数据处理的复杂度；将预处理后的网络流量数据存入数据库；对网络流量数据进行异常流量检测；将步骤4检测得到的异常流量存入异常流量特征库中。本发明可以实现对网络流量的高效、精确的异常检测分析。

Description

一种基于时序分析技术的网络异常流量检测方法及其系统

技术领域

本发明涉及一种基于时序分析技术的网络异常流量检测方法及其系统，属于网络流量数据研究技术领域。

背景技术

在信息化高速发展的当下，网络安全一直是信息发展过程中的重中之重，没有网络安全就没有国家安全。随着信息技术的发展，网络架构、部署环境等日趋复杂，网络服务运行过程中面临着来自各方的、各种各样的威胁，如分布式拒绝服务攻击(DDoS)，该类攻击主要利用大量请求消耗正常带宽和资源，从而使服务端无法正常提供服务。通常来讲，当网络服务遭受攻击或出现服务中断等情况时，网络流量的数据走势会出现明显的波动。因此，网络流量分析与异常流量检测是监测网络服务运行情况的一种行之有效的技术手段。

当前，针对网络异常流量的检测工作往往关注于流量的瞬时波动，然而，瞬时的流量异常往往存在误差，难以代表网络流量的一种持续性特征，易产生误判。同时，异常的网络流量往往具有周期性或具有偶然的、持续的波动性，即一段时间内的流量趋势特征。如出现恶意网络流量时，往往引发明显的流量波动。此外，当前的网络异常流量检测往往需要人工干预提取流量数据特征，因网络流量的种类、构成较为复杂，提取特征并非一项简单工作，容易增加人工计算开销。最后，网络流量数据持续产生，数据规模大，直接在原始数据上进行检测分析，检测效率难以保障，往往较为耗时。因此，上述的现存方法存在一定的缺陷，有必要发明一种基于时序分析的网络异常流量检测方法，以提升流量检测分析的效率、精度以及便捷度。

发明内容

针对现有技术的不足，本发明提供一种基于时序分析技术的网络异常流量检测方法及其系统，以实现对网络流量的高效、精确的异常检测分析。

本发明采用以下技术方案：

一种基于时序分析技术的网络异常流量检测方法，包括：

步骤1：采用定时同步任务的方式采集数据中心上存储的计算机设备网络流量数据；

步骤2：对采集到的原始网络流量数据进行预处理，以降低网络流量异常检测分析数据处理的复杂度；

步骤3：将预处理后的网络流量数据存入数据库；

步骤4：对网络流量数据进行异常流量检测；

步骤5：将步骤4检测得到的异常流量存入异常流量特征库中。

优选的，步骤1中，重点采集网络流量异常检测分析中的关键信息，包括设备厂商、设备类型、MAC地址、IP地址、流量端口号、协议类型、流量属性、流量数值、流量单位和时间戳，关键信息如表1所示，此处设计的优势在于，仅关注网络流量异常检测使用的关键数据，非关键数据不做采集以降低本发明设计方法和系统的存储、计算等压力。

表1：关键信息表

数据字段	说明	数据示例
			MANUFACTURER	设备厂商	DPtech
MACADDR	MAC地址	0C-54-15-D4-F4-21
			IPADDR	IP地址	10.0.1.111
DEVTYPE	设备类型	服务器
			PORT	流量端口号	Eth0
PROTOCOL	协议类型	TCP
			FLOWTYPE	流量属性	Outgoing、Incoming
FLOWVALUE	流量数值	200
			FLOWUNIT	流量单位	GB
FLOWST	时间戳	2020-11-01 10:00:00

优选的，步骤2中的预处理包括标准化网络流量单位、根据设备MAC地址提取设备基本信息以及按照网络流量属性重组原始网络流量数据；

其中，标准化网络流量单位为将网络数据流量单位统一转换为GB单位，本发明系统的流量采集模块中提供了维护设备基本信息的功能，设备基本信息如表2所示，可利用采集到的流量关键信息MAC地址与设备基本信息中的MAC地址进行匹配，进而将流量数据与设备信息进行关联，即可在系统中明确流量的来源设备，便于在系统中做统计、展示。

表2：设备基本信息表

本发明中，采集到的网络流量属性可分为入流量(Incoming)、出流量(Outgoing)等，为了降低数据集中存储带来的读取压力，本发明在进行预处理时按照网络流量数据属性进行重组划分，具体操作过程是采集到各类流量数据后，根据流量属性进行分流进入待入库流量缓存区(此处可通过程序控制，属于现有技术，不再赘述)，如入流量缓存区、出流量缓存区等。

网络流量数据具有时间序列大数据的数据量大、数据维度高、持续增长等典型特征，优选的，步骤3进一步为：对预处理后的网络流量数据按照设备、流量属性、时间区间进行划分，以“设备MAC_流量属性_年份”为数据表名存入数据库。此处设计的优势在于，降低单表数据量过大而导致的数据存取耗时过长对异常检测效率的影响。

优选的，步骤4包括：

S4.1、从步骤3的网络流量存储库中提取待检测的网络流量数据，对网络流量数据进行标准化处理，即将网络流量数据的流量数值减去流量均值后除以标准差，处理后的流量数值符合标准正态分布，即均值为0，标准差为1，为便于描述，此处将原始网络流量形式化为一组由流量数据值组成的数据集合F＝{f₁,f₂,…,f_n}，其中f_i为原始网络流量在时刻i的流量值，n为流量数据总量；

则，标准化转换公式如下所示：

其中，μ为待检测网络流量数据整体均值，σ为待检测网络流量数据标准差，f_i′为标准化后的网络流量数据值，标准化后的网络流量可形式化表示为F^′＝{f₁′,f₂′,…,f_n′}。

S4.2、选择网络流量检测分析维度，按照日、周、月、年切分网络流量数据以检测分析相应数据维度的异常流量情况，令切分维度表示为R；

确定分析维度后，将标准化的网络流量数据按照分析维度切分，为形式化描述，将标准化的网络流量数据集合F′按照分析维度切分为若干流量序列的集合，可形式化为FS＝{fs₁,fs₂,…,fs_M}，其中M为切分后的流量序列个数，对于集合FS中每一个元素fs_i，可形式化表示为fs_i＝{f_c ^′,f_c ^′ ₊₁,…,f_c ^′ _+R-1}，其中c为序列fs_i的起始时刻标识。

S4.3、选择异常检测方式，包括两种检测方式：横向检测对比和纵向检测对比；

S4.4、确定异常检测策略，根据S4.2确定的分析维度大小确定网络流量异常检测策略，异常检测策略包括以下两种：

(1)低维度流量分析，即按日切分，经过步骤S4.2切分的单条标准化网络流量数据维度较低，为确保检测精度，直接利用现有的Ψ-DTW距离方法计算每条标准化网络流量数据间的距离Dist(fs_i,fs_j)，随后由Dist(fs_i,fs_j)组成标准化网络流量距离差异性矩阵SNTDM，如下公式：

结合标准化网络流量距离差异性矩阵SNTDM，计算每条流量序列的异常得分ζ_i，组成异常得分集合，异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，得到当前分析数据的异常指数集合，异常指数AI_i可由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的，异常阈值可根据实际分析异常检测结果的精度与效率要求进行设置，本发明中，异常阈值优选设置为2，此异常阈值可有效检测出偏离异常得分程度较大的网络流量，即可判定为异常的。

(2)高维度流量分析，即按周及以上维度切分，经过步骤S4.2切分的单条标准化网络流量数据维度较高，直接使用低维度流量分析策略难以保证异常检测效率，高维度流量分析首先将标准化网络流量数据进行降维表示，对于一条标准化网络流量数据，找到其起始点、终止点、最大值、最小值构成的数值边界，随后将数值边界包裹的区域划分为p×q个子区域，进而计算每个子区域的数据均值，最后，利用各子区域的均值降维表示原始标准化网络流量数据，将降维表示后的数据序列表示为

然后，利用降维表示后的距离计算方法

求得序列间的距离，其中，

的计算公式如下：

进而组成降维表示的网络流量距离差异性矩阵DDSNTDM，如下公式表示：

其中，

指降维表示数据序列

在子区域第t行第c列的均值，结合DDSNTDM，计算每条标准化网络流量的异常得分，组成异常得分集合，其中，此处的异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，异常指数AI_i可由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的，异常阈值可根据实际分析异常检测结果的精度与效率要求进行设置，本发明中，异常阈值优选设置为2，此异常阈值可有效检测出偏离异常得分程度较大的网络流量，即可判定为异常的。

优选的，步骤S4.3中横向检测对比是指分析网络流量在同一时间跨度内是否存在异常，即以步骤1选取的数据范围为分析对象，按照时间戳将数据划分为若干区域分段(如按日、周、月、年切分)，随后利用步骤S4.4中异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域；

纵向检测对比是指从历史的角度上分析当前时间区域是否存在异常，即以选取的数据范围为分析对象，以与其在其他时间周期中所处相同时间区域为对比检测目标，利用步骤S4.4异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域。

优选的，步骤4进一步为：

将步骤4检测分析得到的异常流量数据关键信息(包括异常开始时间、异常结束时间)通过MAC地址(MACADDR)与设备基本信息中MAC地址(DEVMACADDR)进行关联，存入异常流量特征库中，此处设计的优势在于，仅保存异常流量的关键信息，无需重复保存原始网络流量数据，以此降低系统的存储压力，同时有利于可视化异常流量时快速定位异常位置。

一种基于时序分析技术的网络异常流量检测系统，包括流量采集模块、流量预处理模块、检测方式管理模块、检测策略管理模块、异常检测模块和异常可视化模块；

所述流量采集模块的输入端与数据中心网络连接，所述流量采集模块的输出端与流量预处理模块连接，所述预处理模块分别与检测方式管理模块、检测策略管理模块均连接，所述检测方式管理模块与异常检测模块连接，所述检测策略管理模块与异常检测模块连接，所述异常检测模块与异常可视化模块连接；

所述流量采集模块用于定时采集数据中心的各类设备的网络流量数据，并将采集到的网络流量数据的关键信息一并提取到本系统，关键信息包括设备厂商、设备类型、MAC地址、IP地址、流量端口号、协议类型、流量属性、流量数值、流量单位和时间戳；

所述流量预处理模块用于将原始网络流量数据进行预处理，以降低网络流量异常检测分析数据处理的复杂度；

所述检测方式管理模块用于配置横向检测对比和纵向检测对比两种流量检测方式，供异常检测模块使用；

所述检测策略管理模块用于配置低维度流量分析和高维度流量分析两种流量检测策略，供异常检测模块使用；

所述异常检测模块用于执行基于时间序列分析技术的网络异常流量检测方法，执行步骤4所述的方法；

所述异常可视化模块用于以图表的形式可视化展示异常检测结果。

本发明未详尽之处，均可采用现有技术进行。

本发明的有益效果为：

1、本发明针对的是一段时间区域内的异常流量检测，相对于瞬时的异常流量，一段区域内的异常代表着网络流量的一种持续性特征，更能够体现异常的特征。

2、本发明无需学习异常检测方法参数，按照实施例提供的参数设定即可以实现有效的网络异常流量检测，有效降低人工计算成本，并可提升检测方法的易用性。

3、本发明针对待检测网络流量数据维度自适应采用高维度检测策略和低维度检测策略，可有效提升异常检测效率。

4、本发明异常检测不与生产设备直接对接，不会对网络本身造成干扰，可独立部署于内网中，降低被其他恶意网络发现的可能性。

5、本发明涉及的系统架构易于扩展，支持与其他业务系统对接。

附图说明

图1为本发明某一实施例的基于时间序列数据挖掘技术的网络异常流量检测流程图；

图2为本发明某一实施例的一种网络流量采集及存储架构示意图；

图3为本发明某一实施例的一种网络流量数据按日切分示意图；

图4为本发明某一实施例的一种网络流量横向检测对比示意图；

图5为本发明某一实施例的一种网络流量纵向检测对比示意图；

图6为本发明某一实施例的一种网络流量低维度分析示意图；

图7为本发明某一实施例的一种网络流量高维度分析示意图；

图8为本发明某一实施例的基于时序分析技术的网络异常流量检测系统的结构图。

具体实施方式：

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，但不仅限于此，本发明未详尽说明的，均按本领域常规技术。

实施例1：

一种基于时序分析技术的网络异常流量检测方法，如图1、图2所示，包括如下步骤：

步骤1：待检测设备与安装Oracle数据库的数据中心对接，由数据中心向本发明涉及方法开放网络流量数据视图，本发明的方法采用定时同步任务的方式从数据中心网络流量数据视图中采集流量数据及关键信息，数据视图字段如表3所示：

表3：数据视图字段

步骤2：数据预处理：

由于各厂商提供的网络流量数据接口有所区别，为了降低网络流量异常检测分析数据处理的复杂度，需要对步骤1采集到的原始网络流量数据进行预处理，以标准化网络流量单位为例，假设步骤一中采集到的一条网络流量数据如表4所示。

表4：一条网络流量数据

当前流量数据值为2321MB，优选的，本发明将流量单位统一转换为GB，转换方式可通过计算2321MB/1024≈2.267GB获得。

步骤3：数据存储入库：

经过步骤2的数据预处理工作后，将预处理后的网络流量数据按照设备、流量属性、时间区间进行划分，以“设备MAC_流量属性_年份”为数据表名存入数据库，以表4中数据为例，该数据应该存储至数据表“D8-DA-E6-E0-41-D5_I_2020”中，此处设计的优势在于，降低单表数据量过大而导致的数据存取耗时过长对异常检测效率的影响。

步骤4：从骤三网络流量存储库中提取待检测的网络流量数据，对流量数值进行标准化处理，即将流量数值减去流量均值后除以标准差，处理后的流量数值符合标准正态分布，即均值为0，标准差为1。

标准化数据后，选择网络流量检测分析维度，本实施例按照日、周、月、年切分网络流量数据以检测分析相应数据维度的异常流量情况，图3所示一段标准化的网络流量数据以日为切分维度，将其切分为6段流量数据序列。

以此6段流量数据序列为检测分析对象，本实施例提供了横向检测对比和纵向检测对比两种异常检测方式，图4所示为网络流量横向检测对比，一段标准化网络流量经过切分后形成一系列的流量数据序列，如{fs₁,fs₂,…,fs_M}，其中M为切分后的流量序列个数，以此M个流量序列为研究对象，根据选择的异常检测策略计算求得相应的距离差异性矩阵，进而求得数据序列的异常得分与异常指数，最终根据异常阈值判断得出异常的流量序列，此过程如图6、图7所示。

图5所示为网络流量纵向检测对比，一段标准化网络流量经过切分后形成一系列的流量数据序列，如{fs₁,fs₂,…,fs_M}，其中M为切分后的流量序列个数，图5所示以流量序列fs₁为例，从流量库中获取与fs₁所处相同时间区域的数据序列，即2020年10月第一周、2020年9月第一周等流量序列数据，根据选择的异常检测策略计算求得相应的距离差异性矩阵，进而求得数据序列的异常得分与异常指数，最终根据异常阈值判断得出异常的流量序列，此过程如图6、图7所示，其中，本实施例采用预设的异常阈值为2。

步骤5：将异常检测后得到的异常流量序列的关键信息(包括异常开始时间、异常结束时间)与设备信息关联，存入异常流量特征库中。本实施例仅保存异常流量的特征信息，无需重复保存原始网络流量数据，以此降低本发明设计系统的存储压力，同时有利于可视化异常流量时快速定位异常位置。

实施例2：

一种基于时序分析技术的网络异常流量检测系统，如图8所示，包括流量采集模块、流量预处理模块、检测方式管理模块、检测策略管理模块、异常检测模块和异常可视化模块。

本实施例的流量采集模块的输入端与安装有Oralce数据库的数据中心对接，流量采集模块的输入端与数据中心网络连接，所述流量采集模块的输出端与流量预处理模块连接，所述预处理模块分别与检测方式管理模块、检测策略管理模块均连接，所述检测方式管理模块与异常检测模块连接，所述检测策略管理模块与异常检测模块连接，所述异常检测模块与异常可视化模块连接；

流量采集模块用于定时采集安装有Oralce数据库的数据中心的各类设备的网络流量数据，并将采集到的网络流量数据的关键信息一并提取到本系统，关键信息包括设备厂商、设备类型、MAC地址、IP地址、流量端口号、协议类型、流量属性、流量数值、流量单位和时间戳；

流量预处理模块用于将原始网络流量数据进行标准化网络流量单位(统一转换为GB单位)、按网络流量属性重组等预处理工作，旨在于降低后续网络流量异常检测数据处理的复杂度；

检测方式管理模块用于配置横向检测对比和纵向检测对比两种流量检测方式，供异常检测模块使用；

检测策略管理模块用于配置低维度流量分析和高维度流量分析两种流量检测策略，供异常检测模块使用；

异常检测模块用于执行基于时间序列分析技术的网络异常流量检测方法，执行步骤4的方法。

异常可视化模块用于以图表的形式可视化展示异常检测结果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于时序分析技术的网络异常流量检测方法，其特征在于，包括：

步骤1：采用定时同步任务的方式采集数据中心上存储的计算机设备网络流量数据；

步骤2：对采集到的原始网络流量数据进行预处理，以降低网络流量异常检测分析数据处理的复杂度；

步骤3：将预处理后的网络流量数据存入数据库；

步骤4：对网络流量数据进行异常流量检测；

步骤5：将步骤4检测得到的异常流量存入异常流量特征库中；

步骤4包括：

S4.1、从步骤3的网络流量存储库中提取待检测的网络流量数据，对网络流量数据进行标准化处理，即将网络流量数据的流量数值减去流量均值后除以标准差，处理后的流量数值符合标准正态分布，即均值为0，标准差为1，将原始网络流量形式化为一组由流量数据值组成的数据集合F＝{f₁,f₂,…,f_n}，其中f_i为原始网络流量在时刻i的流量值，n为流量数据总量；

则，标准化转换公式如下所示：

其中，μ为待检测网络流量数据整体均值，σ为待检测网络流量数据标准差，f_i′为标准化后的网络流量数据值，标准化后的网络流量形式化表示为F′＝{f₁′,f₂′,…,f_n′}；

S4.2、选择网络流量检测分析维度，按照日、周、月、年切分网络流量数据以检测分析相应数据维度的异常流量情况，令切分维度表示为R；

确定分析维度后，将标准化的网络流量数据按照分析维度切分，为形式化描述，将标准化的网络流量数据集合F′按照分析维度切分为若干流量序列的集合，可形式化为FS＝{fs₁,fs₂,…,fs_M}，其中M为切分后的流量序列个数，对于集合FS中每一个元素fs_i，形式化表示为fs_i＝{f′_c,f′_c+1,…,f′_c+R-1}，其中c为序列fs_i的起始时刻标识；

S4.3、选择异常检测方式，包括两种检测方式：横向检测对比和纵向检测对比；

S4.4、确定异常检测策略，根据S4.2确定的分析维度大小确定网络流量异常检测策略，异常检测策略包括以下两种：

(1)低维度流量分析，即按日切分，直接利用现有的Ψ-DTW距离方法计算每条标准化网络流量数据间的距离Dist(fs_i,fs_j)，随后由Dist(fs_i,fs_j)组成标准化网络流量距离差异性矩阵SNTDM，如下公式：

结合标准化网络流量距离差异性矩阵SNTDM，计算每条流量序列的异常得分ζ_i，组成异常得分集合，异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，得到当前分析数据的异常指数集合，异常指数AI_i由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的；

(2)高维度流量分析，即按周及以上维度切分，高维度流量分析首先将标准化网络流量数据进行降维表示，对于一条标准化网络流量数据，找到其起始点、终止点、最大值、最小值构成的数值边界，随后将数值边界包裹的区域划分为p×q个子区域，进而计算每个子区域的数据均值，最后，利用各子区域的均值降维表示原始标准化网络流量数据，将降维表示后的数据序列表示为

然后，利用降维表示后的距离计算方法

求得序列间的距离，其中，

的计算公式如下：

进而组成降维表示的网络流量距离差异性矩阵DDSNTDM，如下公式表示：

其中，

指降维表示数据序列

在子区域第t行第c列的均值，结合DDSNTDM，计算每条标准化网络流量的异常得分，组成异常得分集合，其中，此处的异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，异常指数AI_i可由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的；

步骤S4.3中横向检测对比是指分析网络流量在同一时间跨度内是否存在异常，即以步骤1选取的数据范围为分析对象，按照时间戳将数据划分为若干区域分段，随后利用步骤S4.4中异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域；

纵向检测对比是指从历史的角度上分析当前时间区域是否存在异常，即以选取的数据范围为分析对象，以与其在其他时间周期中所处相同时间区域为对比检测目标，利用步骤S4.4异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域。

2.根据权利要求1所述的基于时序分析技术的网络异常流量检测方法，其特征在于，步骤1中，重点采集网络流量异常检测分析中的关键信息，包括设备厂商、设备类型、MAC地址、IP地址、流量端口号、协议类型、流量属性、流量数值、流量单位和时间戳。

3.根据权利要求1所述的基于时序分析技术的网络异常流量检测方法，其特征在于，步骤2中的预处理包括标准化网络流量单位、根据设备MAC地址提取设备基本信息以及按照网络流量属性重组原始网络流量数据；

其中，标准化网络流量单位为将网络数据流量单位统一转换为GB单位；根据设备MAC地址提取设备基本信息是指利用采集到的流量关键信息MAC地址与设备基本信息中的MAC地址进行匹配，进而将流量数据与设备信息进行关联；按照网络流量属性重组原始网络流量数据是指按照网络流量属性重组原始网络流量数据，网络流量属性分为入流量、出流量。

4.根据权利要求1所述的基于时序分析技术的网络异常流量检测方法，其特征在于，步骤3进一步为：对预处理后的网络流量数据按照设备、流量属性、时间区间进行划分，以“设备MAC_流量属性_年份”为数据表名存入数据库。

5.根据权利要求1所述的基于时序分析技术的网络异常流量检测方法，其特征在于，步骤4进一步为：

将步骤4检测分析得到的异常流量数据关键信息通过MAC地址与设备基本信息中MAC地址进行关联，存入异常流量特征库中。

6.一种基于时序分析技术的网络异常流量检测系统，其特征在于，包括流量采集模块、流量预处理模块、检测方式管理模块、检测策略管理模块、异常检测模块和异常可视化模块；

所述流量采集模块的输入端与数据中心网络连接，所述流量采集模块的输出端与流量预处理模块连接，所述预处理模块分别与检测方式管理模块、检测策略管理模块均连接，所述检测方式管理模块与异常检测模块连接，所述检测策略管理模块与异常检测模块连接，所述异常检测模块与异常可视化模块连接；

所述流量采集模块用于定时采集数据中心的各类设备的网络流量数据，并将采集到的网络流量数据的关键信息一并提取到本系统，关键信息包括设备厂商、设备类型、MAC地址、IP地址、流量端口号、协议类型、流量属性、流量数值、流量单位和时间戳；

所述流量预处理模块用于将原始网络流量数据进行预处理，以降低网络流量异常检测分析数据处理的复杂度；

所述检测方式管理模块用于配置横向检测对比和纵向检测对比两种流量检测方式，供异常检测模块使用；

所述检测策略管理模块用于配置低维度流量分析和高维度流量分析两种流量检测策略，供异常检测模块使用；

所述异常检测模块用于执行基于时间序列分析技术的网络异常流量检测方法，执行步骤4所述的方法；

所述异常可视化模块用于以图表的形式可视化展示异常检测结果；

步骤4包括：

S4.1、从步骤3的网络流量存储库中提取待检测的网络流量数据，对网络流量数据进行标准化处理，即将网络流量数据的流量数值减去流量均值后除以标准差，处理后的流量数值符合标准正态分布，即均值为0，标准差为1，将原始网络流量形式化为一组由流量数据值组成的数据集合F＝{f₁,f₂,…,f_n}，其中f_i为原始网络流量在时刻i的流量值，n为流量数据总量；

则，标准化转换公式如下所示：

其中，μ为待检测网络流量数据整体均值，σ为待检测网络流量数据标准差，f_i′为标准化后的网络流量数据值，标准化后的网络流量形式化表示为F′＝{f₁′,f₂′,…,f_n′}；

S4.2、选择网络流量检测分析维度，按照日、周、月、年切分网络流量数据以检测分析相应数据维度的异常流量情况，令切分维度表示为R；

确定分析维度后，将标准化的网络流量数据按照分析维度切分，为形式化描述，将标准化的网络流量数据集合F′按照分析维度切分为若干流量序列的集合，可形式化为FS＝{fs₁,fs₂,…,fs_M}，其中M为切分后的流量序列个数，对于集合FS中每一个元素fs_i，形式化表示为fs_i＝{f′_c,f′_c+1,…,f′_c+R-1}，其中c为序列fs_i的起始时刻标识；

S4.3、选择异常检测方式，包括两种检测方式：横向检测对比和纵向检测对比；

S4.4、确定异常检测策略，根据S4.2确定的分析维度大小确定网络流量异常检测策略，异常检测策略包括以下两种：

(1)低维度流量分析，即按日切分，直接利用现有的Ψ-DTW距离方法计算每条标准化网络流量数据间的距离Dist(fs_i,fs_j)，随后由Dist(fs_i,fs_j)组成标准化网络流量距离差异性矩阵SNTDM，如下公式：

结合标准化网络流量距离差异性矩阵SNTDM，计算每条流量序列的异常得分ζ_i，组成异常得分集合，异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，得到当前分析数据的异常指数集合，异常指数AI_i由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的；

(2)高维度流量分析，即按周及以上维度切分，高维度流量分析首先将标准化网络流量数据进行降维表示，对于一条标准化网络流量数据，找到其起始点、终止点、最大值、最小值构成的数值边界，随后将数值边界包裹的区域划分为p×q个子区域，进而计算每个子区域的数据均值，最后，利用各子区域的均值降维表示原始标准化网络流量数据，将降维表示后的数据序列表示为

然后，利用降维表示后的距离计算方法

求得序列间的距离，其中，

的计算公式如下：

进而组成降维表示的网络流量距离差异性矩阵DDSNTDM，如下公式表示：

其中，

指降维表示数据序列

在子区域第t行第c列的均值，结合DDSNTDM，计算每条标准化网络流量的异常得分，组成异常得分集合，其中，此处的异常得分的计算公式如下：

根据每条流量序列的异常得分ζ_i，求得异常得分集合的平均水平，进而计算得出每条标准化网络流量的异常指数AI_i，异常指数AI_i可由如下公式计算得出：

其中，

是异常得分的平均值，即

最后，异常指数集合中超过异常阈值的流量序列即为异常的；

步骤S4.3中横向检测对比是指分析网络流量在同一时间跨度内是否存在异常，即以步骤1选取的数据范围为分析对象，按照时间戳将数据划分为若干区域分段，随后利用步骤S4.4中异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域；

纵向检测对比是指从历史的角度上分析当前时间区域是否存在异常，即以选取的数据范围为分析对象，以与其在其他时间周期中所处相同时间区域为对比检测目标，利用步骤S4.4异常检测策略计算各流量序列的异常指数，根据异常阈值设定情况判断得出异常流量区域。

Images