CN112565183A - 一种基于流式动态时间规整算法的网络流量异常检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于流式动态时间规整算法的网络流量异常检测方法，步骤如下：1、形成异常网络流量特征模板库；2、生成网络流量特征向量；3、计算网络流量特征向量与异常流量特征向量模板序列的相似度；4、判断流量异常事件及类型。本发明还公开了一种基于流式动态时间规整算法的网络流量异常检测装置，包括：异常网络流量特征模板库形成机构：形成异常网络流量特征模板库；网络流量特征向量生成机构：生成网络流量特征向量；相似度计算机构；流量异常判断机构。本发明既可以解决传统分类方法在长时间维度上的考虑不足，同时可以解决传统时间序列方法对异常值和时间延展伸缩情况下的精度不足，可以广泛应用于信息安全领域。

Description

一种基于流式动态时间规整算法的网络流量异常检测方法及 装置

技术领域

本发明涉及信息安全网络监测领域，特别是涉及一种基于流式动态时间规整算法的网络流量异常检测方法及装置。

背景技术

随着信息技术的快速发展，越来越多的企事业单位部署了各类软件业务系统，将大量核心、重要的数字资产存储在各类应用当中。与此同时，网络安全也越来越受到人们的关注，如何快速识别网络攻击和网络故障的发生，保护企事业单位珍贵的数字资产免受攻击，窃取和损坏成为了人们关注的重点。网络流量异常经常是由于网络不正常使用，设备故障或诸如DDOS攻击、蠕虫病毒等网络攻击造成，与正常流量有一定特征上的差异，因此网络流量异常检测能够及时识别网络异常及未知的网络攻击，是一种重要的网络防护手段，同时也可为网络态势感知提供重要的技术支持。

现有的网络流量异常检测主要有使用SVM,贝叶斯网络以及神经网络等分类算法的异常检测方法以及基于时间序列相似度计算的异常检测方法。

基于分类的算法通常需要确定网络流量分类的数量和类别，设计网络流量的特征标签，然后使用历史流量数据训练一个机器学习分类模型，使用该分类模型对定期采集到的网络流量特征进行分类，此类算法往往是对一个特征提取周期内的网络流量进行分类，当网络流量异常的时间超过特征提取周期时会降低此类方法的表现，同时此类方法也难以描述多个特征提取周期之间整体的网络流量表现情况。

基于时间序列的异常检测方法通常定期采集网络流量的特征信息形成网络流量特征信息的时间序列，并将该时间序列分段为各个子序列与模板序列进行相似程度计算，从而判断是否有异常发生。现有的方法通常采用欧式距离进行相似程度计算，当网络流量的特征在时间上有延展伸缩，或出现奇异值时将严重影响相似度计算结果。同时子序列的划分方法不佳也容易造成划分出的子序列与模板序列的相似度计算结果不能很好的表征网络流量的实际情况，例如采用固定大小的滑动窗口划分子序列在实际异常流量持续时间与窗口大小差异较大时，不能很好的划分出异常流量的子序列。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于流式动态时间规整算法的网络流量异常检测方法及装置，使其既可以解决传统分类方法在长时间维度上的考虑不足，同时可以解决传统时间序列方法对异常值和时间延展伸缩情况下的精度不足。

本发明提供的一种基于流式动态时间规整算法的网络流量异常检测方法，包括以下步骤：步骤1、根据专家经验，形成异常网络流量特征模板库；步骤2、提取网络流量特征信息，生成网络流量特征向量；步骤3、计算网络流量特征向量与异常流量特征向量模板序列的相似度；步骤4、判断流量异常事件及类型。

在上述技术方案中，所述步骤1的具体过程如下：根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组进行分组，并按时间顺序进行排列，形成异常网络流量，所述五元组包括源IP、源端口、目的IP、目的端口和传输层协议；按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量、流字节数、平均报文大小、平均报文间隔、平均报文时长、连接连续时间、连接数和SYN错误数，形成异常网络流量特征向量的时间序列；所有异常网络流量特征向量时间序列的集合组合成异常网络流量特征模板库。

在上述技术方案中，所述步骤2的具体过程如下：将数据报文按五元组分类，然后进行特征采集和提取；步骤2.1、采集网络中的数据报文，按五元组进行分类：流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议，将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量；步骤2.2、采集和提取网络流量的特征信息：流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数，将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度。

在上述技术方案中，所述步骤3的具体过程如下：使用周期性采集到的网络流量特征向量与从异常流量模板库中各个异常流量模板特征向量序列进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常：步骤3.1、按被检测的网络流量建立相似度计算流水线：为每一条目标检测流量检测相似度计算流水线，该流水线处理来自相同五元组的统一网络流量中提取的特征向量；当接收到未对应建立相似度计算流水线的网络流量特征向量时，创建一条新的相似度计算流水线，并从异常流量模板库读取异常流量模板至该流水线的内存中，开始进行特征向量与异常模板的相似度计算；步骤3.2、建立相似度计算任务：

在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务；

步骤3.3、使用流式动态时间规则算法计算特征向量与异常流量特征向量模板序列之间的距离值：每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c，前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值；步骤3.4、使用流式动态时间规则算法计算特征向量局部最小距离：每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，具体计算过程如下：

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离d_min，取

为当前目标检测流量Q与P的相似度值。

在上述技术方案中，所述步骤3.3中，依次计算D_c中各个动态时间规整距离，具体计算过程如下：假设最新到来的目标检测流量的特征向量为q_i，该计算任务对应的异常流量特征向量序列为P，计算D_c中第i个元素的动态时间规则距离；计算目标检测流量的特征向量q与异常流量特征向量序列P中第i个向量的距离，优选的可采用欧式距离作为距离计算公式，计算方法如下：

其中q的特征向量为{h_q0,h_q1,...,h_qn}，p_i的特征向量为{h_p0,h_p1,...,h_pn}；参考前值距离序列和已完成计算的当前距离序列，计算前值最佳距离，具体计算方法如下：

d(i，0)＝0，d(0，j)＝∞，(i＝1，...，m；j＝1，...，n)，其中d_l,i为前值距离序列中第i个动态时间规整距离，d_l,i-1为前值距离序列中第i-1个动态时间规整距离，d_c,i-1为当前距离序列中第i-1个动态时间规则距离，该距离应当在计算d_c,i前一步已经完成；将前述两公式所计算的距离相加，作为d_c,i的动态时间规整距离：d_ci＝d_i+d_best，更新当前相似度值的最小值d_min，d_min＝min(d_min,d_c,i)。

在上述技术方案中，所述步骤3.1中，还包括如下内容：当一条相似度计算流水线超过过期时间T后未接收到来自该目标检测流量的任何特征向量，则相似度计算模块销毁该流水线；所述步骤3.2中，还包括如下内容：创建相似度计算流水线时，在相似度计算流水线中，按照异常流量特征向量序列建立对应的相似度计算任务，每个相似度计算任务分别对应目标检测流量与异常流量特征向量之间的计算任务，任务数量与异常流量特征向量数量相同。

在上述技术方案中，所述步骤1中，假设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}；所述步骤2.2中，还包括如下内容：流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块。

在上述技术方案中，所述步骤4的具体过程如下：判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型；完成计算后，将d_l更新为d_c的值；当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

本发明还提供了一种基于流式动态时间规整算法的网络流量异常检测装置，包括以下部分：异常网络流量特征模板库形成机构：根据专家经验，形成异常网络流量特征模板库；网络流量特征向量生成机构：提取网络流量特征信息，生成网络流量特征向量；相似度计算机构：计算网络流量特征向量与异常流量特征向量模板序列的相似度；流量异常判断机构：判断流量异常事件及类型。

在上述技术方案中，所述异常网络流量特征模板库形成机构包括如下部分：根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组进行分组，并按时间顺序进行排列，形成异常网络流量，所述五元组包括源IP、源端口、目的IP、目的端口和传输层协议；按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量、流字节数、平均报文大小、平均报文间隔、平均报文时长、连接连续时间、连接数和SYN错误数，形成异常网络流量特征向量的时间序列；假设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}；所有异常网络流量特征向量时间序列的集合组合成异常网络流量特征模板库；所述网络流量特征向量生成机构包括如下部分：将数据报文按五元组分类，然后进行特征采集和提取；五元组分类单元：流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议，将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量；网络流量特征提取单元：流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数，将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度；流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块；所述相似度计算机构包括如下部分：使用周期性采集到的网络流量特征向量与从异常流量模板库中各个异常流量模板特征向量序列进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常：相似度流水线计算单元：为每一条目标检测流量检测相似度计算流水线，该流水线处理来自相同五元组的统一网络流量中提取的特征向量；当接收到未对应建立相似度计算流水线的网络流量特征向量时，创建一条新的相似度计算流水线，并从异常流量模板库读取异常流量模板至该流水线的内存中，开始进行特征向量与异常模板的相似度计算；当一条相似度计算流水线超过过期时间T后未接收到来自该目标检测流量的任何特征向量，则相似度计算模块销毁该流水线；相似度计算任务单元：在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务；创建相似度计算流水线时，在相似度计算流水线中，按照异常流量特征向量序列建立对应的相似度计算任务，每个相似度计算任务分别对应目标检测流量与异常流量特征向量之间的计算任务，任务数量与异常流量特征向量数量相同；特征向量与异常流量特征向量模板序列距离值计算单元：每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c，前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值；特征向量局部最小距离计算单元：每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，具体计算过程如下：

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离d_min，取

为当前目标检测流量Q与P的相似度值；所述流量异常判断机构包括如下部分：判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型；完成计算后，将d_l更新为d_c的值；当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

本发明基于流式动态时间规整算法的网络流量异常检测方法及装置，具有以下有益效果：本发明可以识别出网络流量时间序列中任意长度的、与模板序列高度一致的子序列，并具备与模板序列线性的时空复杂度，同时可易于确定流量异常的类型。

附图说明

图1为本发明基于流式动态时间规整算法的网络流量异常检测方法中所涉及的算力资源系统结构示意图；

图2为本发明基于流式动态时间规整算法的网络流量异常检测方法的流程示意图；

图3为本发明基于流式动态时间规整算法的网络流量异常检测方法中网络流量特征提取的流程示意图；

图4为本发明基于流式动态时间规整算法的网络流量异常检测方法中相似度计算流水线结构示意图；

图5为本发明基于流式动态时间规整算法的网络流量异常检测方法中相似度计算任务的结构示意图；

图6为本发明基于流式动态时间规整算法的网络流量异常检测装置的结构示意图；

图7为本发明基于流式动态时间规整算法的网络流量异常检测装置中网络流量特征向量生成机构的结构示意图；

图8为本发明基于流式动态时间规整算法的网络流量异常检测装置中相似度计算机构的结构示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。

本申请实施例提供的基于流式动态时间规整算法的网络流量异常检测方法，通过如图1所示的该方法所涉及的算力资源实现，该算力资源系统包括流量特征提取模块S1、特征向量相似度计算模块S2、异常流量模板库模块S3和异常流量分类模块S4。

如图2所示，步骤1：根据专家经验，形成异常网络流量特征模板库

根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组(源IP、源端口、目的IP、目的端口和传输层协议)进行分组，并按时间顺序进行排列，形成异常网络流量，设采集到的网络流量为时间长度为T的网络流量；

按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数等，形成异常网络流量特征向量的时间序列；设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}，所有异常网络流量特征向量时间序列的集合组合异常网络流量特征模板库。

步骤2：提取网络流量特征信息，生成网络流量特征向量

将数据报文按五元组分类，然后进行特征采集和提取；

步骤2.1：采集网络中的数据报文，按五元组进行分类：

流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议。将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量。具备相同五元组信息的数据包被认为来自同一个网络流量。

步骤2.2：采集和提取网络流量的特征信息：

流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数等。将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度，优选的进行特征提取的时间周期可为10分钟；

流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块；

步骤3：计算网络流量特征向量与异常流量特征向量模板序列的相似度

如图3所示，相似度计算模块接收来自特征提取模块的特征向量，并从异常流量模板库模块获取异常流量模板特征向量序列，将二者进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常，将异常结果输出至异常流量分类模块；

步骤3.1：按被检测的网络流量建立相似度计算流水线

如图4所示，相似度计算模块接收到一个网络流量特征向量后，首先根据特征向量的signature值查询是否已经创建了对应的相似度计算流水线，若不存在则创建一条新的相似度计算流水线；若已存在对应的相似度计算流水线，则将网络流量特征向量送入对应的相似度计算流水线中依次执行相似度计算任务；

当一条相似度计算流水线超过给定的过期时间后未接收到新的网络流量特征向量，则相似度计算模块销毁该相似度计算流水线，优选的过期时间可设置为3小时；

步骤3.2：建立相似度计算任务

在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务，例如异常流量模板库中包含m条异常流量特征向量时间序列，则每一个相似度计算流水线中对应建立m个相似度计算任务；

步骤3.3：使用流式动态时间规则算法计算特征向量与异常流量特征向量模板序列之间的距离值

如图5所示，每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c。前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值。

依次计算D_c中各个动态时间规整距离，具体计算方法如下：

假设最新到来的目标检测流量的特征向量为q_i，该计算任务对应的异常流量特征向量序列为P，此时正在计算D_c中第i个元素的动态时间规则距离。

计算目标检测流量的特征向量q与异常流量特征向量序列P中第i个向量的距离，优选的可采用欧式距离作为距离计算公式，计算方法如下：

其中q的特征向量为{h_q0,h_q1,...,h_qn}，p_i的特征向量为{h_p0,h_p1,...,h_pn}，

参考前值距离序列和已完成计算的当前距离序列，计算前值最佳距离，具体计算方法如下：

d(i，0)＝0，d(0，j)＝∞，(i＝1，...，m；j＝1，...，n)，

其中d_l,i为前值距离序列中第i个动态时间规整距离，d_l,i-1为前值距离序列中第i-1个动态时间规整距离，d_c,i-1为当前距离序列中第i-1个动态时间规则距离，该距离应当在计算d_c,i前一步已经完成。

将前述两公式所计算的距离相加，作为d_c,i的动态时间规整距离：

d_ci＝d_i+d_best，

更新当前相似度值的最小值d_min，

d_min＝min(d_min,d_c,i)；

步骤3.4：使用流式动态时间规则算法计算特征向量局部最小距离

每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离，最小距离为d_min，取

为当前目标检测流量Q与P的相似度值；

步骤4：判断流量异常事件及类型

判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型

完成计算后，将d_l更新为d_c的值；

当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

如图6所示，本发明基于流式动态时间规整算法的网络流量异常检测装置，其特征在于：包括以下部分：

异常网络流量特征模板库形成机构：根据专家经验，形成异常网络流量特征模板库，具体包括如下内容：

根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组进行分组，并按时间顺序进行排列，形成异常网络流量，所述五元组包括源IP、源端口、目的IP、目的端口和传输层协议；按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量、流字节数、平均报文大小、平均报文间隔、平均报文时长、连接连续时间、连接数和SYN错误数，形成异常网络流量特征向量的时间序列；假设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}；所有异常网络流量特征向量时间序列的集合组合成异常网络流量特征模板库。

如图7所示，网络流量特征向量生成机构：提取网络流量特征信息，生成网络流量特征向量，具体包括如下内容：

将数据报文按五元组分类，然后进行特征采集和提取；

五元组分类单元：流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议，将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量；

网络流量特征提取单元：流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数，将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度；流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块；

如图8所示，相似度计算机构：计算网络流量特征向量与异常流量特征向量模板序列的相似度，具体包括如下内容：

使用周期性采集到的网络流量特征向量与从异常流量模板库中各个异常流量模板特征向量序列进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常：

相似度流水线计算单元：为每一条目标检测流量检测相似度计算流水线，该流水线处理来自相同五元组的统一网络流量中提取的特征向量；当接收到未对应建立相似度计算流水线的网络流量特征向量时，创建一条新的相似度计算流水线，并从异常流量模板库读取异常流量模板至该流水线的内存中，开始进行特征向量与异常模板的相似度计算；当一条相似度计算流水线超过过期时间T后未接收到来自该目标检测流量的任何特征向量，则相似度计算模块销毁该流水线；

相似度计算任务单元：在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务；创建相似度计算流水线时，在相似度计算流水线中，按照异常流量特征向量序列建立对应的相似度计算任务，每个相似度计算任务分别对应目标检测流量与异常流量特征向量之间的计算任务，任务数量与异常流量特征向量数量相同；

特征向量与异常流量特征向量模板序列距离值计算单元：每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c，前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值；

其中，依次计算D_c中各个动态时间规整距离，具体计算方法如下：

假设最新到来的目标检测流量的特征向量为q_i，该计算任务对应的异常流量特征向量序列为P，此时正在计算D_c中第i个元素的动态时间规则距离。

计算目标检测流量的特征向量q与异常流量特征向量序列P中第i个向量的距离，优选的可采用欧式距离作为距离计算公式，计算方法如下：

其中q的特征向量为{h_q0,h_q1,...,h_qn}，p_i的特征向量为{h_p0,h_p1,...,h_pn}，

参考前值距离序列和已完成计算的当前距离序列，计算前值最佳距离，具体计算方法如下：

d(i，0)＝0，d(0，j)＝∞，(i＝1，·..，m；j＝1，，n)，

其中d_l,i为前值距离序列中第i个动态时间规整距离，d_l,i-1为前值距离序列中第i-1个动态时间规整距离，d_c,i-1为当前距离序列中第i-1个动态时间规则距离，该距离应当在计算d_c,i前一步已经完成。

将前述两公式所计算的距离相加，作为d_c,i的动态时间规整距离：

d_ci＝d_i+d_best，

更新当前相似度值的最小值d_min，

d_min＝min(d_min,d_c,i)；

特征向量局部最小距离计算单元：每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，具体计算过程如下：

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离d_min，取

为当前目标检测流量Q与P的相似度值；

流量异常判断机构：判断流量异常事件及类型，具体包括如下内容：

判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型；完成计算后，将d_l更新为d_c的值；当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：包括以下步骤：

步骤1、根据专家经验，形成异常网络流量特征模板库；

步骤2、提取网络流量特征信息，生成网络流量特征向量；

步骤3、计算网络流量特征向量与异常流量特征向量模板序列的相似度；

步骤4、判断流量异常事件及类型。

2.根据权利要求1所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤1的具体过程如下：

根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组进行分组，并按时间顺序进行排列，形成异常网络流量，所述五元组包括源IP、源端口、目的IP、目的端口和传输层协议；

按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量、流字节数、平均报文大小、平均报文间隔、平均报文时长、连接连续时间、连接数和SYN错误数，形成异常网络流量特征向量的时间序列；

所有异常网络流量特征向量时间序列的集合组合成异常网络流量特征模板库。

3.根据权利要求2所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤2的具体过程如下：

将数据报文按五元组分类，然后进行特征采集和提取；

步骤2.1、采集网络中的数据报文，按五元组进行分类：

流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议，将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量；

步骤2.2、采集和提取网络流量的特征信息：

流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数，将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度。

4.根据权利要求3所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤3的具体过程如下：

使用周期性采集到的网络流量特征向量与从异常流量模板库中各个异常流量模板特征向量序列进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常：

步骤3.1、按被检测的网络流量建立相似度计算流水线：

为每一条目标检测流量检测相似度计算流水线，该流水线处理来自相同五元组的统一网络流量中提取的特征向量；

当接收到未对应建立相似度计算流水线的网络流量特征向量时，创建一条新的相似度计算流水线，并从异常流量模板库读取异常流量模板至该流水线的内存中，开始进行特征向量与异常模板的相似度计算；

步骤3.2、建立相似度计算任务：

在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务；

步骤3.3、使用流式动态时间规则算法计算特征向量与异常流量特征向量模板序列之间的距离值：

每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c，前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值；

步骤3.4、使用流式动态时间规则算法计算特征向量局部最小距离：

每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，具体计算过程如下：

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离d_min，取

为当前目标检测流量Q与P的相似度值。

5.根据权利要求4所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤3.3中，依次计算D_c中各个动态时间规整距离，具体计算过程如下：

假设最新到来的目标检测流量的特征向量为q_i，该计算任务对应的异常流量特征向量序列为P，计算D_c中第i个元素的动态时间规则距离；

计算目标检测流量的特征向量q与异常流量特征向量序列P中第i个向量的距离，优选的可采用欧式距离作为距离计算公式，计算方法如下：

其中q的特征向量为{h_q0,h_q1,...,h_qn}，p_i的特征向量为{h_p0,h_p1,...,h_pn}；

参考前值距离序列和已完成计算的当前距离序列，计算前值最佳距离，具体计算方法如下：

d(i，0)＝0，d(0，j)＝∞，(i＝l，...，m；j＝l，...，n)，

其中d_l,i为前值距离序列中第i个动态时间规整距离，d_l,i-1为前值距离序列中第i-1个动态时间规整距离，d_c,i-1为当前距离序列中第i-1个动态时间规则距离，该距离应当在计算d_c,i前一步已经完成；

将前述两公式所计算的距离相加，作为d_c,i的动态时间规整距离：

d_ci＝d_i+d_best，

更新当前相似度值的最小值d_min，

d_min＝min(d_min,d_c,i)。

6.根据权利要求5所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤3.1中，还包括如下内容：当一条相似度计算流水线超过过期时间T后未接收到来自该目标检测流量的任何特征向量，则相似度计算模块销毁该流水线；

所述步骤3.2中，还包括如下内容：创建相似度计算流水线时，在相似度计算流水线中，按照异常流量特征向量序列建立对应的相似度计算任务，每个相似度计算任务分别对应目标检测流量与异常流量特征向量之间的计算任务，任务数量与异常流量特征向量数量相同。

7.根据权利要求6所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤1中，假设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}；

所述步骤2.2中，还包括如下内容：流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块。

8.根据权利要求7所述的基于流式动态时间规整算法的网络流量异常检测方法，其特征在于：所述步骤4的具体过程如下：判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型；完成计算后，将d_l更新为d_c的值；当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

9.一种基于流式动态时间规整算法的网络流量异常检测装置，其特征在于：包括以下部分：

异常网络流量特征模板库形成机构：根据专家经验，形成异常网络流量特征模板库；

网络流量特征向量生成机构：提取网络流量特征信息，生成网络流量特征向量；

相似度计算机构：计算网络流量特征向量与异常流量特征向量模板序列的相似度；

流量异常判断机构：判断流量异常事件及类型。

10.根据权利要求9所述的基于流式动态时间规整算法的网络流量异常检测装置，其特征在于：所述异常网络流量特征模板库形成机构包括如下部分：根据专家经验，采集若干网络流量出现异常时的网络数据报文，按相同五元组进行分组，并按时间顺序进行排列，形成异常网络流量，所述五元组包括源IP、源端口、目的IP、目的端口和传输层协议；按一定的时间周期计算各异常网络流量的特征信息，包含但不限于数据报文的数量、流字节数、平均报文大小、平均报文间隔、平均报文时长、连接连续时间、连接数和SYN错误数，形成异常网络流量特征向量的时间序列；假设进行特征提取的时间周期为t，则形成的异常网络流量特征向量时间序列的长度n为

则时间异常网络流量特征向量时间序列P可表示为P＝{p₀,p₁,...p_n}；所有异常网络流量特征向量时间序列的集合组合成异常网络流量特征模板库；

所述网络流量特征向量生成机构包括如下部分：将数据报文按五元组分类，然后进行特征采集和提取；

五元组分类单元：流量特征提取模块实时采集网络中的数据报文，抽取报文中的五元组信息：源IP、源端口、目的IP、目的端口和传输层协议，将相同五元组信息的网络数据包按时间顺序排列形成一个网络流量；

网络流量特征提取单元：流量特征提取模块按照网络流量的维度进行特征信息提取，包括但不限于提取来自同一网络流量的数据报文的数量，流字节数，平均报文大小，平均报文间隔，平均报文时长，连接连续时间，连接数，SYN错误数，将采集到的特征信息统计汇总，以一定时间周期进行统计和计算，形成网络流量特征向量q{h₀,h₁,...,h_r}，其中r为特征向量的维度；流量特征提取模块为每个网络流量特征向量生成所属网络流量的标签，标签方法为将网络流量的五元组按照源IP，源端口，目的IP，目的端口，传输层协议进行字符串拼接，并计算该字符串的SHA1值，取SHA1值的后8位字符作为网络流量的标签，记为signature，将该标签和网络流量特征向量一同发送给相似度计算模块；

所述相似度计算机构包括如下部分：使用周期性采集到的网络流量特征向量与从异常流量模板库中各个异常流量模板特征向量序列进行相似度计算，根据计算结果识别目标检测流量是否出现流量异常：

相似度流水线计算单元：为每一条目标检测流量检测相似度计算流水线，该流水线处理来自相同五元组的统一网络流量中提取的特征向量；当接收到未对应建立相似度计算流水线的网络流量特征向量时，创建一条新的相似度计算流水线，并从异常流量模板库读取异常流量模板至该流水线的内存中，开始进行特征向量与异常模板的相似度计算；当一条相似度计算流水线超过过期时间T后未接收到来自该目标检测流量的任何特征向量，则相似度计算模块销毁该流水线；

相似度计算任务单元：在相似度计算流水线中，目标检测流量的特征向量将与所有异常流量模板序列进行相似度计算，为每个异常流量模板计算建立相似度计算任务；创建相似度计算流水线时，在相似度计算流水线中，按照异常流量特征向量序列建立对应的相似度计算任务，每个相似度计算任务分别对应目标检测流量与异常流量特征向量之间的计算任务，任务数量与异常流量特征向量数量相同；

特征向量与异常流量特征向量模板序列距离值计算单元：每一个相似度计算任务中设置有前值距离序列D_l与当前距离序列D_c，前置距离序列D_l保存前一次相似度计算结束后，目标检测流量与异常流量特征向量序列的动态时间规整距离值，D_l序列的维度与异常流量特征向量序列的维度相同；D_c存放本次相似度计算已经完成计算的动态时间规整距离值；

特征向量局部最小距离计算单元：每一个相似度计算任务中设置有前值起点序列S_l与当前起点序列S_c，具体计算过程如下：

当发现一次特性向量相似度计算中，不存在距离值小于当前最小值，且起点值小于当前特征向量序号时，认为识别出局部最小距离d_min，取

为当前目标检测流量Q与P的相似度值；

所述流量异常判断机构包括如下部分：判断相似度s是否超过相似度阈值，该阈值为预先设置的人为经验，依据不同的异常流量模板不同而不同；超过相似度阈值，则认为目标检测流量当前出现了与目标模板相似度极高的流量段，出现了流量异常，且异常类型为异常流量模板的异常类型；完成计算后，将d_l更新为d_c的值；当出现s大于阈值的情况后，将d_l进行初始化，初始化方法为所用数据结构可表达的最大值。

Images