CN110460574A - 一种基于小波提升的网络异常流量检测方法 - Google Patents

一种基于小波提升的网络异常流量检测方法 Download PDF

Info

Publication number
CN110460574A
CN110460574A CN201910610482.5A CN201910610482A CN110460574A CN 110460574 A CN110460574 A CN 110460574A CN 201910610482 A CN201910610482 A CN 201910610482A CN 110460574 A CN110460574 A CN 110460574A
Authority
CN
China
Prior art keywords
wavelet
flow
network
lifting
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910610482.5A
Other languages
English (en)
Inventor
许尚立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Industry Polytechnic College
Original Assignee
Chongqing Industry Polytechnic College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Industry Polytechnic College filed Critical Chongqing Industry Polytechnic College
Priority to CN201910610482.5A priority Critical patent/CN110460574A/zh
Publication of CN110460574A publication Critical patent/CN110460574A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明涉及网络异常流量检测技术领域，其目的在于提供了一种基于小波提升的网络异常流量检测方法，包括如下步骤：获得流量时间的统计信息；确定适合的小波基，用选定的小波基分析原始信息；根据原始流量的大小确定分解的层数，并将原始信号分为奇数项和偶数项；用预测算子和更新算子对奇偶项进行处理，从而得到小波的逼近系数和细节系数；求解Hurst参数，通过相邻Hurst参数变换值的大小来判断是否出现网络异常情况，其有益效果在于：通过利用小波提升算法来对网络异常流量检测，能高效计算出网络流量的自相似参数，具有运算量更小，计算更简便的优点，对于目前的研究工作和CPS系统安全方面具有重要的意义。

Description

一种基于小波提升的网络异常流量检测方法
技术领域
本发明涉及网络异常流量检测技术领域，尤其涉及一种基于小波提升的网络异常流量检测方法。
背景技术
泛在电力物联网是利用信息传感设备与某些特定的通信协议相互配合，在电力系统中实现人与人、人与物和物与物的通信或交互功能。泛在电力物联网作为能源互联网的有效组成部分之一，其重要性涉及到整个电网的稳定运行。而影响泛在电力物联网安全的一个关键因素就是其感知层接入了不计其数、功能结构互异的终端。感知层通过各种传感器将收集到的终端数据传输给网络层，而后网络层将数据共享给需要的客户。然而，由于终端数量多、传输数据杂，在这个流程当中，最适于各种恶意流量的潜伏。
目前，对于异常流量的检测方法报道甚多，利用比较不同时刻得自相似参数判断异常；首先对某个网络性能参数设定阈值，实时检测该性能参数并与设定的阈值相比，从而达到检测异常流量的目的；选取与安全事件紧密相关的流量属性作为统计对象，研究其变化过程，以此来检测异常。把经典时间序列模型如AR、ARMA等用于网络流量分析，通过比较模型参数的变化检测异常。利用傅里叶变换对流量信号进行时频变换，在频域检测异常流量。但是，截至目前，对于泛在电力物联网“洪流”流量中的微量异常流量检测方法，报道的甚少。为了寻找一种有效的检测方法处理饭在电力物联网中的微量异常流量，本发明考虑到小波分析法能够较好的处理变化微弱的信号和突变信号，并对其信号局部特征进行表征，但由于小波分析法对存储要求高、计算量大，而泛在电力物联网中传输的数据量呈指数式增长，对其设备要求则更高。
考虑到成本和可行性问题，本发明选择了小波提升算法。小波提升算法不仅摆脱了传统小波运算对频域的依赖，提高了存储效率，简化了计算量。而且最重要的一点是，小波提升将浮点运算转换成了整数运算，提高了运算的精度，节约了硬件资源。目前小波提升广泛应用于信号处理领域，使用小波提升来检测网络异常流量具有重要意义。
发明内容
本发明的目的时针对上述现有技术中的不足，提供了一种基于小波提升的网络异常流量检测方法，通过利用小波提升算法来对网络异常流量检测，能高效计算出网络流量的自相似参数，具有运算量更小，计算更简便的优点。
为实现上述目的，本发明采用的技术方案具体如下：
一种基于小波提升的网络异常流量检测方法，其特征在于：包括如下步骤：
步骤1：获得流量时间的统计信息；
步骤2：确定适合的小波基，用选定的小波基分析原始信息；
步骤3：根据原始流量的大小确定分解的层数，并将原始信号分为奇数项和偶数项；
步骤4：用预测算子和更新算子对奇偶项进行处理，从而得到小波的逼近系数和细节系数；
步骤5：求解Hurst参数，通过相邻Hurst参数变换值的大小来判断是否出现网络异常情况。
本发明的有益效果为：通过利用小波提升算法来对网络异常流量检测，能高效计算出网络流量的自相似参数，具有运算量更小，计算更简便的优点，对于目前的研究工作和CPS系统安全方面具有重要的意义。
附图说明
图1是本发明的异常检测流程示意图。
图2是本发明的日时间-流量序列图。
具体实施方式
下面结合附图并通过具体的实施例进一步的说明本发明的技术方案：
实施例1
本发明所述的一种基于小波提升的网络异常流量检测方法，其包括如下内容：
1.小波提升算法
1.1小波选择
小波分析与傅里叶变换相似之处甚多，都是一种信号分析的有力工具。傅里叶变换通常以正弦、余弦函数作为基底函数，将输入的信号分解为两个基底函数的叠加，但傅里叶变换却处理不了非稳定状态下的信号，尤其是突变信号。而小波变换正好能够解决傅里叶变换带来的短板。小波变换具有悠久的历史，包括dbN、SymN、Haar小波等，在信号、图像处理等领域有着广泛的应用，其工作机理与傅里叶变换一样，与傅里叶变换不同的是小波变换选择的函数都是小波基底函数。
现有的研究工作表明，在dbN，symN和coifN系列小波中，dbN小波随着N的增加，有整体变小的趋势，且变化趋势最为缓慢，这里的N代表小波消失的时刻，N越大则小波的波形越光滑，对应小波滤波器的长度是这个N的2倍。在dbN系列小波中，db3小波精确性最高，db3是可选择的最佳分析小波之一，故本发明选取了db3小波进行小波提升变换，db3小波变换主要分为连续小波变换和离散小波变换两大类，下面对两者进行详述。
1.1.1连续小波变换
定义：
取为平方可积函数，则：
其中：为小波母函数，a为尺度因子，控制小波的缩放；b为时间因子，控制小波的平移；成为小波基函数。在L2(R)空间中将某函数x(t)按某一小波基进行展开，展开后的结果就是x(t)的连续小波变换，记作：
其中：为的共轭复函数，WT称为小波系数。
1.1.2离散小波变换
在实际的应用中，许多数据都是时间的离散函数，本发明使用的就是离散小波变换模型，离散小波的具体过程如下。
定义：
先将尺度因子a和时间因子b分别做离散化处理。
a＝2j,j∈Z (1-3)
b＝c,c∈Z (1-4)
虽然小波变换具有时、频域分析的优点，但也存在着一些难以克服的缺点。传统小波变换需要不断将原始信号与小波滤波器组进行卷积运算，而且参与运算的数字都是浮点型数据，复杂度极高，所导致的致命结果为：一是计算机处理容易产生错误；二是小波变换难以满足实时性要求；三是小波变换的常用算法对CPU和存储空间的要求高。为了解决此类问题，本发明在db3小波变换的基础上，对db3小波进行提升变换。
1.2小波提升变换
传统小波被称为第一代小波，与之对应的是1994年提出的第二代小波，这一算法由Sweldens提出，被称为小波提升(wavelet lifting)或提升方案(lifting scheme)。
第二代小波的典型特点是不依赖卷积积分，在空间域进行的运算也摆脱了传统小波运算对频域的依赖，而且提高了存储效率，简化了计算量。另外，小波提升将浮点运算转换成了整数运算，这样的处理方式能够避免数据的丢弃，提高了运算的精度，进一步节约了对硬件资源。
定义：
小波提升由分裂、预测和更新三个步骤组成，以下进行简述：
分裂(split)：将获得的原始信号X(n)等分为两个子集，一般按其序号分为奇数集(odd)和偶数集(even)；
预测(predict)：使用其中一个子集序列even的元素来预测另一个子集序列odd的元素，通过预测与真实值的比对来反应信号的细节部分。
dj＝oj-p·ej (1-7)
其中：oj＝X(2n+1)，ej＝X(2n)，p为预测算子，一般可取相邻数据的平均值或对应数据本身。
pj＝(Xj,2n+Xj,2n+1)/2 (1-8)
pj＝Xj,2n (1-9)
更新(update)：通过更新保持数据和原始数据整体的特征的一致性。
cj＝ej+U·dj (1-10)
其中U为更新算子，一般取相邻两个预测算子的平均值或取相应预测算子的1/2，如公式所示：
Uk,dj＝(dj,k)/2 (2-12)
Uk,dj＝dj,k/2 (2-13)
通过这三个步骤，就可以得出原始信号的高频信息和低频信息。
2.网络流量的特性及检测
网络流量特性研究是对网络流量进行分析和网络进行检测的基础。网络流量特性包括自相似性、长相关性以及重尾分布。其中，当网络受到DoS攻击时，流量会出现急剧的变化，因此最受影响的是自相似特性，以下简要介绍网络的自相似性。
2.1网络流量的自相似性
网络业务流量中，自相似性是一种普遍存在的属性，自相似性的定义并不唯一，比较常使用的是贝尔实验室给出的定义，设X＝{Xi,i＝1,2,3...}是一个广义平稳的随机过程，若X满足：
X(t)＝a-HX(at),t≥0,a＞0,0＜H＜1 (2-1)
则称X为具有自相似参数H(Hurst)的自相似过程。H表示自相似的程度，H越大则表示自相似程度越大。简言之，网络流量自相似是指，在长时间的范围内，网络流量的变化趋势是比较平缓、光滑的，例如某个网站的访问流量，一天的不同时段，可能会有较大差异，凌晨和早上的访问流量就要小于晚间，但这种差异的产生是一个渐变的过程，访问量也是逐渐减小或增大的。
当网络被攻击时，网络流量会出现异常变化，例如当网络遭到DoS攻击时，Hurst参数会发生显著的跳变，网络的自相似性也会下降，H的取值越大，表明信号序列具有长相关性，这时的状态较为稳定，而Hurst参数小于0.5时，网络的可能受到攻击。
2.2第二代小波变换Hurst参数
要对网络的自相似性进行分析，就需要获得基于时间序列的流量统计信息。取某一段时间内变化的流量为输入信号，常用的方法有对实时流量进行监控，主要手段包括：使用SNMP协议和一些数据采集软件相结合获取时序流量信息；使用NS2软件模拟网络流量变化；使用科研机构所提供的数据集。分析流量时，只需要获取时序流量信息而不需要网络流量中的数据包，具体算法如图1所示，图1中的p’与u’选取与选取的小波基的滤波器系数相关。
图1的流程可以简述为，首先获得流量时间的统计信息，之后确定适合的小波基，用选定的小波基分析原始信息；根据原始流量的大小确定分解的层数，并将原始信号分为奇数项和偶数项；用预测算子和更新算子对奇偶项进行处理，从而得到小波的逼近系数和细节系数。
正常情况下流量是时间的函数，即在一天的早晨时间和凌晨时间段，一个网站的访问量较小，而在白天上班期间则处于上网高峰期，网站的访问量较大。
假设某天内的流量变化趋势如图2所示，则原始数据可每间隔半小时采集，采集到的数据量大小作为分析之用。
数据流量采集完成后，需要将其分割为若干子数列。将原始流量按时间分为4段，则每段包含6小时的数据量，统计每个时段内的数据包量，以[6:00,11:30]为例，期间的数据量为108。
流量序列长度记为N，小波分解所需要的分解层数J可以由如下公式确定：
J＝(log2N)-3 (2-2)
对每个单位时间内的流量序列，其内的数据包个数是不同的，分别确定其分解层数，则可以达到动态更新分解尺度的目的。以6:00-11:30为例，J＝(log2108)-3＝3，确定分解层数为3层，将[6:00，11:30]分为奇序列和偶序列。
数据如下表所示:
表2.1奇序列时间-流量
表2.2偶序列时间-流量
获得输入流量信号之后，以db3小波作为正交小波，其滤波器长度为db后数字3的2倍，也就是说db3的滤波器有6个系数，其低通滤波器和高通滤波器如下所示：
h(z)＝h-2z2+h-1z+h0+h1z-1+h2z-2+h3z-3 (2-3)
g(z)＝-h3z2+h2z-h1+h0z-1-h-1z-2+h-2z-3 (2-4)
其中h3＝0.035，h2＝-0.085，h1＝-0.135，h0＝0.459，h-1＝0.807，h-2＝0.333。
db3小波的滤波器组的多相矩阵表示如下：
其中的参数称为提升小波系数，α＝-0.4123，β＝-1.5651，β’＝0.3524，γ＝0.0285，γ’＝0.4922，δ＝-0.3689，δ＝1.9182。
设输入信号为Xn，其奇数项为x2n+1,偶数项为x2n。要使用db3小波处理原始信号，获得原始信号的低频和高频分量，则用滤波器组的多相矩阵的参数对原始数据进行处理。
小波提升不使用卷积计算，而是直接通过高通滤波器和低通滤波器后而求得小波系数。具体求解Hurst参数的过程如下:
对每个单位时间的流量序列执行如下操作：
S1:确定分解层数，J＝log2X-3；
S2:将信号分为偶数下标和奇数下标；
S3:使用小波提升法求解小波系数；
S4:求小波方差Di＝var[dx(j,k)]；
S5:以i为自变量，dx(j,k)为因变量拟合直线，直线斜率k＝2H-1；
S6:H＝(1+k)/2。
现求解[6:00,11:30]区间的流量数据的奇数项、偶数项序列的小波逼近系数；
Python小波工具箱pywt提供了对小波进行处理的一系列函数，使用pywt.dwt(signal,wavelet,level)，可以求解出各层的小波逼近系数和小波细节系数。
表2.3奇数项流量小波逼近系数
表2.4奇数项流量小波细节系数
对小波系数求取方差，并拟合直线，得到直线斜率为0.1248，故其自相似参数H＝(1+0.1248)/2＝0.5624。
表2.5偶数项流量小波逼近系数
表2.6偶数项流量小波细节系数
对偶数项小波系数求解方差并拟合曲线，曲线斜率为0.5667，其自相似参数H＝(1+0.5667)/2＝0.7833。
理论上，Hurst参数应接近于1，但对自行构造的测试数据进行计算，发现Hurst指数较接近[0.5624,0.7833]。可以从结果看出，构造出的流量具有一定的自相似性，序列具有长期记忆性，未来的增量和过去的增量相关，继续保持现有趋势的可能性强。但由于所使用的数据并非真实情况下的流量序列，所以并不与理论值一样，但通过小波提升的方式计算Hurst值，其算法过程更加简单。
输入信号为单位时间内的流量序列长度，上述过程对每一段流量序列求解Hurst参数，整个时间过程内求解的Hurst参数构成一个由Hurst参数组成的序列，将正常网络流量下的Hurst参数作为一条基线，并确定正常情况的上下限，即确定出Hurst参数可变的阈值，自相似过程其图像较为光滑。正常的情况下相邻的Hurst参数变换应该不大于0.2。如果网络流量出现异常，则网络的自相似性会下降，当Hurst参数出现突变且变化值大于0.2，可以认为网络出现了异常情况，有可能受到了攻击。
从本实施例模拟出的结果中可以发现，通过小波提升算法，能高效计算出网络流量的自相似参数，使用小波提升是一种可行的检测网络异常流量的方法。
在信息物理系统安全问题下，本文提出一种将小波提升用于网络异常情况进行检测的方法，通过研究相关的理论知识和实验工具，探究出一种可以用来快速计算网络自相关参数Hurst参数的方法，提升小波继承了第一代小波的优良特性，此外还具有运算量更小，计算更简便的优点，因而通过提升小波算法来检测网络异常情况有较理想的效果，对于目前的研究工作和CPS系统安全方面具有重要的意义。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于小波提升的网络异常流量检测方法，其特征在于：包括如下步骤：
步骤1：获得流量时间的统计信息；
步骤2：确定适合的小波基，用选定的小波基分析原始信息；
步骤3：根据原始流量的大小确定分解的层数，并将原始信号分为奇数项和偶数项；
步骤4：用预测算子和更新算子对奇偶项进行处理，从而得到小波的逼近系数和细节系数；
步骤5：求解Hurst参数，通过相邻Hurst参数变换值的大小来判断是否出现网络异常情况；
所述步骤5中Hurst参数具体求解过程如下：
S1:确定分解层数；
S2:将信号分为偶数下标和奇数下标；
S3:使用小波提升法求解小波系数；
S4:求小波方差Di＝var[dx(j,k)]；
S5:以i为自变量，dx(j,k)为因变量拟合直线，直线斜率k＝2H-1；
S6:自相似参数H＝(1+k)/2。
2.根据权利要求1所述的一种基于小波提升的网络异常流量检测方法，其特征在于：所述步骤1中流量时间的基数为一天，采集间隔为半小时。
3.根据权利要求1所述的一种基于小波提升的网络异常流量检测方法，其特征在于：所述所述步骤3中分解层数的计算公式如下：
J＝(log2N)-3
其中，J为小波分解所需要的分解层数、N为流量序列长度。
CN201910610482.5A 2019-07-08 2019-07-08 一种基于小波提升的网络异常流量检测方法 Withdrawn CN110460574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610482.5A CN110460574A (zh) 2019-07-08 2019-07-08 一种基于小波提升的网络异常流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610482.5A CN110460574A (zh) 2019-07-08 2019-07-08 一种基于小波提升的网络异常流量检测方法

Publications (1)

Publication Number Publication Date
CN110460574A true CN110460574A (zh) 2019-11-15

Family

ID=68482373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610482.5A Withdrawn CN110460574A (zh) 2019-07-08 2019-07-08 一种基于小波提升的网络异常流量检测方法

Country Status (1)

Country Link
CN (1) CN110460574A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401950A (zh) * 2020-03-12 2020-07-10 上海数川数据科技有限公司 基于小波特征聚类的广告流量反作弊方法及装置
CN112367208A (zh) * 2020-11-20 2021-02-12 大连大学 一种威布尔分布的混合小波网络流量模型的建立方法
CN112436975A (zh) * 2020-10-09 2021-03-02 北京邮电大学 一种天地一体化信息网络流量预测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401950A (zh) * 2020-03-12 2020-07-10 上海数川数据科技有限公司 基于小波特征聚类的广告流量反作弊方法及装置
CN112436975A (zh) * 2020-10-09 2021-03-02 北京邮电大学 一种天地一体化信息网络流量预测方法及装置
CN112436975B (zh) * 2020-10-09 2022-09-13 北京邮电大学 一种天地一体化信息网络流量预测方法及装置
CN112367208A (zh) * 2020-11-20 2021-02-12 大连大学 一种威布尔分布的混合小波网络流量模型的建立方法
CN112367208B (zh) * 2020-11-20 2023-08-01 大连大学 一种威布尔分布的混合小波网络流量模型的建立方法

Similar Documents

Publication Publication Date Title
He et al. SEIR modeling of the COVID-19 and its dynamics
CN110460574A (zh) 一种基于小波提升的网络异常流量检测方法
Chen et al. An improved Hurst parameter estimator based on fractional Fourier transform
Shen et al. Statistically-informed deep learning for gravitational wave parameter estimation
WO2022205612A1 (zh) 时序数据对抗样本生成方法、系统、电子设备及存储介质
Zhang et al. Operation conditions monitoring of flood discharge structure based on variance dedication rate and permutation entropy
Liu et al. Drought prediction method based on an improved CEEMDAN-QR-BL model
Bai et al. Application of Time‐Frequency Analysis in Rotating Machinery Fault Diagnosis
Xu et al. A novel hybrid CNN-LSTM compensation model against DoS attacks in power system state estimation
Han et al. Non‐intrusive load monitoring by voltage–current trajectory enabled asymmetric deep supervised hashing
Azizi et al. Quantification of disaggregation difficulty with respect to the number of smart meters
Xiong et al. The fractal energy measurement and the singularity energy spectrum analysis
Schirmer et al. Device and time invariant features for transferable non-intrusive load monitoring
Shang et al. Complexity analysis of multiscale multivariate time series based on entropy plane via vector visibility graph
Zhao et al. Missing data reconstruction using adaptively updated dictionary in wireless sensor networks
Moss et al. An FPGA-based spectral anomaly detection system
Li et al. Using wavelet multi-resolution nature to accelerate the identification of fractional order system
CN114462306A (zh) 基于变权重时域卷积网络的非侵入式用电负荷分解方法
Zhang et al. The complexity-entropy causality plane based on multiscale power spectrum entropy of financial time series
Akbar et al. Deep learning based solution for appliance operational state detection and power estimation in non-intrusive load monitoring
Xiong et al. A fault diagnosis method for building electrical systems based on the combination of variational modal decomposition and new mutual dimensionless
Moroni Efficient sampling of rare event pathways: from simple models to nucleation
Han et al. Time Series Prediction Using Time-Series Decomposition and Multi-reservoirs Echo State Network
Quan Mean and covariance estimation of functional data streams
Zhao et al. Prediction of industrial network security situation based on noise reduction using EMD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191115