CN115118511A - 异常流量识别方法、装置、电子设备及存储介质 - Google Patents
异常流量识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115118511A CN115118511A CN202210759958.3A CN202210759958A CN115118511A CN 115118511 A CN115118511 A CN 115118511A CN 202210759958 A CN202210759958 A CN 202210759958A CN 115118511 A CN115118511 A CN 115118511A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- data
- network traffic
- network
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006403 short-term memory Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000737 periodic effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000007774 longterm Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000001932 seasonal effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种异常流量识别方法、装置、电子设备及存储介质，该方法包括：获取网络流量时间序列，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；对网络流量时间序列进行预处理，从预处理所生成的网络流量时序数据集中获取目标时序数据，目标时序数据用于表征网络流量时间序列的异常数据；利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据；基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果。通过本申请，解决异常流量识别困难、误报率高的问题。
Description
技术领域
本申请涉及智能分析技术领域，尤其涉及一种异常流量识别方法、装置、电子设备及存储介质。
背景技术
随着计算机网络的日益发展，网络规模扩大，创新性的应用模式和需求的不断涌现，使的相关技术中对异常流量的监控越来越困难。
相关技术中，对接入相关系统的业务的流量的监控采用基于简单的规则作流量监控，但因业务流量具有：呈现振荡状、流量变化周期性不尽相同及业务数量庞大，存在无法捕捉部分异常激增的流量的情况，同时，相关技术中的异常流量的监测，存在较高的误报率，易将正常的流量波动识别为异常变化的流量。
针对相关技术中异常流量识别困难、误报率高的问题，尚未存在有效的解决方案。
发明内容
本申请提供了一种异常流量识别方法、装置、电子设备及存储介质，以至少解决相关技术中异常流量识别困难、误报率高的问题。
第一方面，本申请提供了一种异常流量识别方法，包括：获取网络流量时间序列，其中，所述网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；对所述网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，所述目标时序数据用于表征所述网络流量时间序列的异常数据；利用长短期记忆神经网络预测模型对所述目标时序数据进行处理，获得与所述目标时序数据对应的预测时序数据；基于所述预测时序数据和所述目标时序数据的误差值，确定异常流量识别结果。
第二方面，本申请提供了一种异常流量识别装置，包括：
获取模块，用于获取网络流量时间序列，其中，所述网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；
预处理模块，用于对所述网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，所述目标时序数据用于表征所述网络流量时间序列的异常数据；
处理模块，用于利用长短期记忆神经网络预测模型对所述目标时序数据进行处理，获得与所述目标时序数据对应的预测时序数据；
确定模块，用于基于所述预测时序数据和所述目标时序数据的误差值，确定异常流量识别结果。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的异常流量识别方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的异常流量识别方法的步骤。
与相关技术相比，本实施例中提供了异常流量识别方法、装置、服务器及存储介质，通过获取网络流量时间序列，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；对网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，目标时序数据用于表征网络流量时间序列的异常数据；利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据；基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果，解决相关技术中异常流量识别困难、误报率高的问题，实现了降低业务流量异常监测误报率、减少因异常流量误报所造成的客诉及降低人力成本的有益效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的一种异常流量识别方法的流程示意图；
图2是根据本申请优选实施例的训练Attention-based LSTM的流程示意图；
图3是根据本申请实施例的一种异常流量识别装置的结构框图；
图4是本申请实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在对本申请实施例进行描述之前，对本申请实施例的所涉及的相关技术进行说明如下：
时间序列分解算法(Seasonal-Trend decomposition procedure based onLoess，简称STL)，是一种基于局部线性回归的季节性趋势分解算法，可以把时间序列分解为趋势项、季节项和剩余项；STL包含一系列局部加权回归平滑器，计算速度比较快，可以应对非常大的时间序列数据；STL把数据原始序列分解成长期时间趋势Trend、季节性时间趋势Seasonal，周期性时间趋势component以及剩余的残差项Remainder，长期时间趋势是流量在长期来看上涨/下降的趋势，季节性指流量在某个时间段上的突变，周期性指流量以周期规律突变，残差项往往代表异常。
长短期记忆网络(LongShort-TermMemory，LSTM)作为深度学习循环神经网络(Recurrent Neural Network，RNN)的一种变种，广泛应用于语音识别、自然语言处理、图像压缩、时间序列处理等序列模型处理任务中。LSTM通过引入门控机制和用于存储长短期历史信息的状态值，有效解决RNN训练过程中出现的梯度爆炸和梯度消失问题；相关技术中，打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制，提成了采用Attention机制，同时，将Attention机制引入LSTM，通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联，进而提出了结合注意力机制的长短期记忆网络(Attention-BasedLong Short-Term Memory，Attention-based LSTM)，在本申请中，采用Attention-basedLSTM对流量时间序列的进行预测，籍以实现异常流量的识别。
滑动/移动平均(Moving Average，简称MA)，又称移动平均线，是技术分析中一种分析时间序列的常用工具，常见的移动平均包括简单移动平均(Simple Moving Average，SMA)、权重移动平均(Weight Moving Average，WMA)、指数移动平均(Exponential MovingAverage，EMA)等。
移动窗口函数(Moving Window Functions)，使用滑窗(sliding windown)或呈指数降低的权重(exponentially decaying weights)，来对时间序列进行统计值计算和其他一些函数计算，例如：消除噪声；移动窗口函数包括固定长度的移动窗口(moving windowwithfixed length)、指数加权移动平均数(exponentially weighted moving average)；在本申请中，使用固定长度的移动窗口(moving window with fixed length)对相应的时间序列进行处理。
衡量偏差标准包括均方根误差(Root Mean Square Error，简称RMSE)、均方误差(Mean Square Error，简称MSE)、平均绝对误差(Mean Absolute Error，简称MAE)以及标准差(Standard Deviation，简称SD)，其中，RMSE是衡量观测值与真实值之间的偏差，常用于机器学习模型预测结果衡量的标准，MSE是真实值与预测值的差值的平方然后求和平均，常用于线性回归的损失函数，MAE是绝对误差的平均值，可以更好地反映预测值误差的实际情况，SD是方差的算术平均根，用于衡量一组数值的离散程度；本申请中采用MAE判断网络流量是否为异常流量。
以下对本申请需要解决的相关技术中异常流量识别困难、误报率高参数的原因进行说明如下：在异常流量识别中，存在以下三种情况造成异常流量识别困难，第一种，相当一部分业务的流量呈现振荡状，且一天内的流量变化数量级较大，例如：登陆鉴权系列业务的流量在晚上18时会有激增，这对应了用户在吃晚饭的时候更倾向于登陆网站观影，而其余时间这项业务的流量较缓；第二种，每个业务的流量变化周期性不尽相同，有存在以天为周期的周期性，也有以周为周期的周期性，也存在难以用直觉捕捉的周期性，因此很难用经验或者人力去遍历这些可能性；第三种，业务数量庞大，即数据体量大，需要一个高效的方法对数据进行学习。
对于上述三种情形，本申请通过采用STL对每项业务的流量时间序列进行过滤，得到目标时序数据(残差项时间序列)，再使用Attention-based LSTM对训练样本进行加权，并基于加权的数据重新训练Attention-based LSTM，最后利用训练完备的Attention-based LSTM以目标时序数据为输入对流量值进行预测与预警。
本申请中描述的各种技术可用于异常流量识别的预测与检测等。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
图1为根据本申请实施例的一种异常流量识别方法的流程示意图。图1所示，本申请实施例提供了一种异常流量识别方法，该方法包括如下步骤：
步骤S101，获取网络流量时间序列，其中，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据。
在本实施例中，获取的网络流量时间序列所对应的网络流量数据是指获取一段时间内的流量数据，例如，1天内、1周内或者1月内的目标业务所接入的流量数据。
在本实施例，获取的网络流量时间序列对应是网络流量数据是从分布式文件系统(Hadoop Distributed File System，简称HDFS)所读取的，并在读取对应的网络流量数据后，将对应的网络流量数据进行整理，以将网络流量数据转换为预设格式(例如：python 字典)，具体的，可以采用键值对key-value格式，并且，每个key代表了一个具体业务，key对应的value代表了这个业务在预设时间长度(例如：两个月)中，单位时段(例如：每个小时)接入的网络流量数据(也就是对应的流量值)，然后按list形式存储网络流量时间序列。
步骤S102，对网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，目标时序数据用于表征网络流量时间序列的异常数据。
在本实施例中，在获取到网络流量时间序列之后，会对网络流量时间序列进行处理，籍以降低输入到对应的神经网络预测模型的数据对异常流量的预测所造成的影响；在本实施例中，对网络流量时间序列进行的预处理包括过滤掉丢失值过多的网络流量时间序列、对数据写入过程中造成数据丢失的网络流量时间序列进行插值处理、对网络流量时间序列进行基于局部线性回归的季节性趋势(STL)分解，并过滤掉流量变化周期小于设定变化周期的流量时间序列、对STL分解的时序数据(例如：代表异常的残差项时序数据)采用固定长度的移动窗口进行增窗；当然，获取用于训练对应的预测模型的训练数据时，也采用对预设的网络流量时间序列(例如：采集的历史的网络流量时间序列)进行对应的预处理，从而获得的对应的样本数据。
在本实施例中，在对网络流量时间序列进行预处理，得到对应的网络流量时序数据集后，还会从网络流量时序数据集中选取对应的目标时序数据，该目标时序数据是用于预测网络流量时间序列是否为异常流量，具体地，目标时序数据为STL分解后的残差项时序数据。
步骤S103，利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据，其中，长短期记忆神经网络预测模型被训练为用于根据输入的时序数据得到与该时序数据对应的预测数据。
在本实施例中，长短期记忆神经网络预测模型是预测前训练完备的预测模型；在其中一些可选实施方式中，用于训练该预测模型的样本数据，在训练过程中所输出的误差值可以直接用于对应采集的网络流量数据是否为异常流量的计算。
在本实施例中，预测时序数据，是基于目标时序数据在完成预测后输出的预测值；在本实施例中，采用目标时序数据中多项时序数据预测在该多项时序数据之后的某项时序数据，例如：在目标时序数据为残差项时序数据，且在预处理过程中增窗的窗口设置设M时，则采用第T项、第T-1、...、第T-M项的残差项时序数据预测第T+1项残差项时序数据。
步骤S104，基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果。
在本实施例中，在完成预测某项时序数据的预测值后，会根据预测的某项时序数据的预测值与该项时序数据的实际值(预处理后输入到预测模型的目标时序数据对应的值)的误差值，也就是预测值与实际值的差值的绝对值的平均值MAE，判断对应的网络流量数据是否为异常流量。
在其中一些可选实施方式中，对应的预警机制为：(实际值-预测值)＞15*MAE或(实际值-预测值)＜-30*MAE。
需要说明的是，在本实施例中，异常流量识别包括流量本身的变化和流量数量的变化，流量本身的变化是指流量相关的参数、数据发生变化，例如：业务请求来源的渠道，运营商A比例多少、运营商B比例多少，在某个时间段远远超出了平均值，则属于异常流量，又例如：流量来源的城市，某个时间段大量流量来源于同一个城市，则也属于异常流量；而流量数量上的变化，则是流量数据一段时间内的流量变化，例如，某IP对应的客户端通常情况下在早8点至9点之间网络流量数据量为5GB，如果某天该IP对应的客户端在早8点至9点之间网络流量数据量为30GB，远大于通常的5GB，则认为30GB的网络流量数据量可能存在异常。
通过步骤S101至步骤S104，采用获取网络流量时间序列，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；对网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，目标时序数据用于表征网络流量时间序列的异常数据；利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据；基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果，解决相关技术中异常流量识别困难、误报率高的问题，实现了降低业务流量异常监测误报率、减少因异常流量误报所造成的客诉及降低人力成本的有益效果。
在其中一些实施例中，步骤S101中的获取网络流量时间序列，可以通过如下步骤实现：
步骤21、从预设文件系统中获取对应的网络流量数据。
在本实施例，获取的网络流量时间序列对应是网络流量数据是从HDFS所读取的，并在读取对应的网络流量数据后，将对应的网络流量数据进行整理。
步骤22、将网络流量数据转化预设的键值对key-value格式，得到网络流量时间序列，其中，key-value中key用于表征一个目标业务，key-value中value用于表征目标业务在预设时间长度中，每个单位时段接入的网络流量数据。
在本实施例，在读取对应的网络流量数据后，将对应的网络流量数据进行整理，以将网络流量数据转换为key-value格式，其中，每个key代表了一个具体业务，key对应的value代表了这个业务在预设时间长度(例如：两个月)中，单位时段(例如：每个小时)接入的网络流量数据(也就是对应的流量值)，然后按list形式存储网络流量时间序列。
通过上述步骤中的从预设文件系统中获取对应的网络流量数据；将所述网络流量数据转化预设的键值对key-value格式，得到所述网络流量时间序列，实现了将待识别的网络流量数据的标准格式转换，形成时间序列的同时，满足处理系统的数据格式需求，提高异常流量识别的效率。
其中一些实施例中，步骤S102中的对网络流量时间序列进行预处理，可以通过如下步骤实现：
步骤31、检测网络流量时间序列的缺失值。
在本实施例中，缺失值是网络流量时间序列所对应的网络流量数据的缺失。
在本实施例中，在业务新进接入时，对应的网络流量数据会造成一定的丢失，在数据写入过程中的某些时段，会造成写入数据丢失，因此，需要基于网络流量时间序列对应的网络流量数据的缺失值进行处理，可以理解的，需要在对缺失值进行处理之前，检测对应的网络流量时间序列的缺失值。
步骤32、基于缺失值，对网络流量时间序列进行过滤处理，得到候选网络流量时间序列。
在本实施例中，对应的过滤处理包括过滤掉缺失值大于设定阈值的网络流量时间序列、对写入过程中数据丢失造成的空值进行插值填充。
在本实施例中，缺失值大于设定阈值的网络流量时间序列对应的网络流量数据可以认定为新进业务所接入的网络流量数据；将缺失值前后设定时长(例如：12小时)内的网络流量数据的均值作为插入值填充至空值中；在其中一些可选实施方式中，对于一段时间内写入的数据都出现问题的插值填充，则采用设定的默认值作为缺少值进行填充。
步骤33、根据候选网络流量时间序列，生成多种类别的第一流量时序数据，其中，每种第一流量时序数据对应一种设定的变化周期。
在本实施例中，在网络流量时间序列的数据本身存在的缺陷进行处理后，需要对网络流量时间序列对应的网络流量数据中会对异常流量预测造成影响的数据进行处理；在本实施例中，会将候选网络流量时间序列按变化趋势类别进行分解(例如：STL分解)，分解出不同趋势且变化周期不同的流量时序数据，也就是经过分解生成第一流量时序数据，以方便后续过滤会影响异常流量时间序列。
步骤34、过滤多种第一流量时序数据中变化周期小于流量变化周期阈值的第一流量时序数据，并基于过滤得到的第二流量时序数据，生成网络流量时序数据集。
在本实施例中，生成的多种第一流量时序数据中，包括长期时间趋势、季节性时间趋势、周期性时间趋势的时序数据和对应的残差项，而对应周期性时间趋势的时序数据，其对应的周期性中会存在变化周期较小的时序数据，例如：以天为变化周期的时序数据，该时序数据在进行后续处理后用于异常流量预测时，会提升误报率，因此，需要将对应的变化周期较小的时序数据进行过滤。
在本实施例中，通过过滤掉变化周期较小的时序数据(例如：以天为变化周期的时序数据)，能使的在进行Z变换和时序数据增窗(X变换)后，输入到预测模型的时序数据在数据量级上保持一致，例如：部分业务在一天内的网络流量数据的流量值可以从接近于0上涨到10^5的数量级，在不作STL分解，并直接做增窗，一方面会掩盖掉一部分数量级较小的网络流量数据，另一方面极大的提升误报率，即当每日网络流量数据的峰值的数量级很大时(但为正常流量)，增窗下的该种网络流量数据会保持较大的绝对数值，从而被预测模型认为是异常流量；本实施例中，通过进行STL分解，可以避免异常值对于周期性规律估计的影响。
通过上述步骤中的检测网络流量时间序列的缺失值；基于缺失值，对网络流量时间序列进行过滤处理，得到候选网络流量时间序列；根据候选网络流量时间序列，生成多种类别的第一流量时序数据，每种第一流量时序数据对应一种设定的变化周期；过滤多种第一流量时序数据中变化周期小于流量变化周期阈值的第一流量时序数据，并基于过滤得到的第二流量时序数据，生成网络流量时序数据集，实现了过滤变化周期小的时序数据的过滤，避免变化周期小的时序数据的周期性规律影响异常流量的预测，进一步降低异常流量识别的误报率。
其中一些实施例中，步骤32中的基于缺失值，对网络流量时间序列进行过滤处理，得到候选网络流量时间序列，包括如下步骤：删除缺失值大于缺失值阈值的网络流量时间序列，得到候选网络流量时间序列，和/或，利用滑动平均算法对缺失值进行插值填充，得到候选网络流量时间序列。
在本实施例中，缺失值大于设定阈值的网络流量时间序列对应的网络流量数据可以认定为新进业务所接入的网络流量数据，对于对应的网络流量数据而言，该部分网络流量数据可以认定为是异常的，通过删除对应的网络流量数据，减少无用预测次数，提高异常流量识别的效率。
在本实施例中，滑动平均算法采用滑动/移动平均Moving Average，进一步可以优选简单移动平均SMA，并将缺失值前后设定时长(例如：12小时)内的网络流量数据的均值作为插入值填充至空值中；在其中一些可选实施方式中，对于一段时间内写入的数据都出现问题的插值填充，则采用设定的默认值作为缺少值进行填充。
在本实施例中，通过基于缺失值进行过滤和缺失值插值，使的后续输入至预测网络中时序数据的完整性和有效性，提高异常流量识别的效率及降低误报率。
其中一些实施例中，步骤33中的根据候选网络流量时间序列，生成多种类别的第一流量时序数据，可以通过如下步骤实现：利用时间序列分解算法STL对候选网络流量时间序列进行分解，生成多种第一流量时序数据。
在本实施例中，通过时间序列分解算法STL将候选网络流量时间序列分解为长期时间趋势时序数据、季节性时间趋势时序数据、周期性时间趋势时序数据和残差项时序数据，在采用预测模型进行预测时，通过将代表异常的残差项时序数据输入对应的预测模型，则可以实现网络流量数据异常的快速预测，并通过生成多种类别的第一流量时序数据，可以降低目标时序数据的数据量维度，通过减少无意义的时序数据输入预测模型，并减少数据内存消耗和训练耗时，提高异常流量识别的处理效率。
其中一些实施例中，步骤34中的基于过滤得到的第二流量时序数据，生成网络流量时序数据集，可以通过如下步骤实现：利用移动窗递推算法，对所有第二流量时序数据进行加窗，得到每条第二流量时序数据所对应的子时序数据集，其中，网络流量时序数据集包括每条第二流量时序数据所对应的子时序数据集。
在本实施例中，在过滤得到第二流量时序数据后，会至少基于第二流量时序数据中残差项时序数据进行生成网络流量时序数据集的生成，也就是对残差项时序数据进行整理，将其转换为网络流量时序数据集，并用作异常流量预测的数据输入，当然，对残差项时序数据进行整理后，生成的网络流量时序数据集对应的也是残差项时序数据关联的时序数据。
在本实施例中，采用固定长度的移动窗口(moving window with fixed length)对所有第二流量时序数据进行加窗。
在其中一些可选实施方式中，设定一个第二流量时序数据对应的时间序列长L＝8，窗口长度(wL)为3，则增窗后，可以获得5个时序数据，例如：设定对应的时序数据序列为[1，2，3，4，5，6，7，8]，生成的5个时序数据构成的子时序数据集为
[[x:[1，2，3]，y，[4]]，
[[x:[2，3，4]，y，[5]]，
[[x:[3，4，5]，y，[6]]，
[[x:[4，5，6]，y，[7]]，
[[x:[5，6，7]，y，[8]]。
需要说明的是，本实施例中所解决的问题为在在时间序列分析中，无法通过单一一条网络流量数据预测及解析下一条网络流量数据异常，因此，通过设置移动窗口，通过这个移动窗口的所有网络流量数据来建模解释紧随这个窗口之后的网络流量数据是否异常，减少异常流量预测的误报率，提高预测的正确率。
其中一些实施例中，第二流量时序数据至少包括残差项时序数据，步骤S102中的从预处理所生成的网络流量时序数据集中获取目标时序数据，包括如下步骤：
步骤41、从网络流量时序数据集所对应的多种类别的第二流量时序数据中，选取残差项时序数据。
步骤42、将残差项时序数据作为目标时序数据，其中，目标时序数据包括每条残差项时序数据对应的子时序数据集。
通过上述步骤从网络流量时序数据集所对应的多种类别的第二流量时序数据中，选取残差项时序数据，将残差项时序数据作为目标时序数据，其中，目标时序数据包括每条残差项时序数据对应的子时序数据集，实现对目标时序数据的获取。
其中一些实施例中，步骤S104中的基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果，通过如下步骤实现：
步骤51、确定残差项时序数据所对应多个误差值，其中，误差值为残差项时序数据与所对应的预测时序数据的差值的绝对值。
在本实施例中，根据残差项时序数据对应的预测值与该残差项时序数据的实际值(预处理后输入到预测模型的残差项时序数据对应的值)的误差值，也就是预测值与实际值的差值的绝对值的平均值MAE，判断对应的网络流量数据是否为异常流量。
步骤52、判断多个误差值之和是否大于预设误差值阈值。
步骤53、在判断到多个误差值之和大于预设误差值阈值的情况下，确定网络流量时间序列所对应的网络流量数据为异常网络流量数据。
通过上述步骤中的确定残差项时序数据所对应多个误差值，误差值为残差项时序数据与所对应的预测时序数据的差值的绝对值；判断多个误差值之和是否大于预设误差值阈值；在判断到多个误差值之和大于预设误差值阈值的情况下，确定网络流量时间序列所对应的网络流量数据为异常网络流量数，实现了异常流量的识别及预警。
其中一些实施例中，长短期记忆神经网络预测模型包括基于注意力的长短期记忆网络Attention-based LSTM，长短期记忆神经网络预测模型的训练过程包括如下步骤：
步骤61、获取历史网络流量数据，并将网络流量数据按键值对key-value格式转换为对应的历史网络流量时间序列。
步骤62、对历史网络流量时间序列进行对应的预处理，得到历史网络流量时间序列所对应的残差项时间序列，其中，预处理包括缺失值过滤、插值、STL分解。
在本实施例中，对于每项表征业务接入的网络流量的流量时间序列，STL分解可以初步过滤掉以天为周期的周期性，从而得到残差项时间序列，基于残差项时间序列的长短期记忆神经网络预测模型的训练难度会大幅度降低，且速度有明显提升，长短期记忆神经网络预测模型不需要再去学习以天为周期的周期性，并且对于残差项时间序列的正则化会更为有效，因为残差项时间序列的方差相比于原时间序列会大幅降低。
在本实施例中，通过STL分解后过滤掉变化周期较小的时序数据(例如：以天为变化周期的时序数据)，能使的在Z变换和时序数据增窗(X变换)，并输入到预测模型的时序数据在数据量级上保持一致，例如：部分业务在一天内的网络流量数据的流量值可以从接近于0上涨到10^5的数量级，在不作STL分解，并直接做增窗，一方面会掩盖掉一部分数量级较小的网络流量数据，另一方面极大的提升误报率，即当每日网络流量数据的峰值的数量级很大时(但为正常流量)，增窗下的该种网络流量数据会保持较大的绝对数值，从而被预测模型认为是异常流量；本实施例中，通过进行STL分解，可以避免异常值对于周期性规律估计的影响。
步骤63、对残差项时间序列进行增窗，得到对应的初始全量数据集，并按预设分配比将初始全量数据集拆解为训练集和测试集。
在本实施例中，预设分配比可设定，例如：7:3。
步骤64、通过训练集和测试集对初始Attention-based LSTM进行训练，得到初始全量数据集的权重和对应的待选预测模型。
步骤65、基于初始全量数据集的权重，对初始全量数据集进行加权，得到备选全量数据集；
步骤66、在备选全量数据集中，按权重由大到小顺序选取预设数据量的数据，得到目标全量数据，并通过目标全量数据对待选预测模型进行重训练，得到长短期记忆神经网络预测模型。
在本实施例中，基于加权后的数据进行样本筛选，删除对应拟合较差的样本数据，减小预测模型基于错误的知识进行训练，从而造成预测模型预测的异常流量的误报率高。
需要说明的是，在本实施例中，对历史网络流量时间序列的预处理过程可以参考本申请实施例中对采集的网络流量时间序列的预处理过程，此处不再过多赘述。
需要说明的是，在本实施例中，对于每项业务的网络流量时间序列，STL分解可以初步过滤掉以天为周期的周期性，从而得到残差项时间序列；基于残差项时间序列的LSTM模型的训练难度会大幅度降低，且提升训练速度，并且对于残差项时间序列的正则化会更为有效，残差项时间序列的方差相比于原时间序列会大幅降低。同时，对于残差项时间序列中所蕴涵的较为复杂的周期性，使用Attention-based LSTM进行学习，用深度学习捕捉的规则更为贴合数据；在本实施例中，为了避免预测模型过度地从异常值中学习信息，对训练样本点进行加权，缓解从异常值学习异常知识的问题。
图2是根据本申请优选实施例的训练Attention-based LSTM的流程示意图，如图2所示，该流程包括如下步骤：
步骤S201、从HDFS获取网络流量数据，之后，执行步骤S202。
步骤S202、对每个业务对应的网络流量数据按每个小时统计，生成对应的网络流量时间序列，之后，执行步骤S203。
步骤S203、基于网络流量时间序列所对应的缺失值，使用滑动平均进行插值，之后，执行步骤S204。
步骤S204、对每项业务所对应的网络流量时间序列使用STL进行过滤，得到残差项时序数据，之后，执行步骤S205。
步骤S205、对每项业务所对应的残差项时序数据使用Z变换，之后，执行步骤S206。
步骤S206、对Z变换后的每项业务对应的残差时序数据进行增窗，得到Attention-based LSTM的总样本，之后，执行步骤S207。
步骤S207、将总样本拆解为训练集与测试集，输入Attention-based LSTM，得到每个样本的权重，之后，执行步骤S208。
步骤S208、根据每个样本的权中对总样本进行加权，并基于加权后的样本对Attention-based LSTM重训练。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种异常流量识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的一种异常流量识别装置的结构框图，如图3所示，该装置包括：
获取模块31，用于获取网络流量时间序列，其中，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；
预处理模块32，与获取模块31耦合连接，用于对网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，目标时序数据用于表征网络流量时间序列的异常数据；
处理模块33，与预处理模块32耦合连接，用于利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据，其中，长短期记忆神经网络预测模型被训练为用于根据输入的时序数据得到与该时序数据对应的预测数据；
确定模块34，与处理模块33耦合连接，用于基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果。
通过本申请实施例的异常流量识别装置，采用获取网络流量时间序列，网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；对网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，目标时序数据用于表征网络流量时间序列的异常数据；利用长短期记忆神经网络预测模型对目标时序数据进行处理，获得与目标时序数据对应的预测时序数据；基于预测时序数据和目标时序数据的误差值，确定异常流量识别结果，解决相关技术中异常流量识别困难、误报率高的问题，实现了降低业务流量异常监测误报率、减少因异常流量误报所造成的客诉及降低人力成本的有益效果。
在其中一些实施例中，该获取模块31还用于：从预设文件系统中获取对应的网络流量数据；将网络流量数据转化预设的键值对key-value格式，得到网络流量时间序列，其中，key-value中key用于表征一个目标业务，key-value中value用于表征目标业务在预设时间长度中，每个单位时段接入的网络流量数据。
在其中一些实施例中，该预处理模块32还进一步包括：
第一检测单元，用于检测网络流量时间序列的缺失值；
第一过滤单元，与第一检测单元耦合连接，用于基于缺失值，对网络流量时间序列进行过滤处理，得到候选网络流量时间序列；
第一生成单元，与第一过滤单元耦合连接，用于根据候选网络流量时间序列，生成多种类别的第一流量时序数据，其中，每种第一流量时序数据对应一种设定的变化周期；
第一处理单元，与第一生成单元耦合连接，用于过滤多种第一流量时序数据中变化周期小于流量变化周期阈值的第一流量时序数据，并基于过滤得到的第二流量时序数据，生成网络流量时序数据集。
在其中一些实施例中，第一生成单元还用于利用时间序列分解算法STL对候选网络流量时间序列进行分解，生成多种第一流量时序数据。
在其中一些实施例中，第一处理单元还用于利用移动窗递推算法，对所有第二流量时序数据进行加窗，得到每条第二流量时序数据所对应的子时序数据集，其中，网络流量时序数据集包括每条第二流量时序数据所对应的子时序数据集。
在其中一些实施例中，第二流量时序数据至少包括残差项时序数据，该预处理模块32还用于从网络流量时序数据集所对应的多种类别的第二流量时序数据中，选取残差项时序数据；将残差项时序数据作为目标时序数据，其中，目标时序数据包括每条残差项时序数据对应的子时序数据集。
在其中一些实施例中，该第一过滤单元还用于删除缺失值大于缺失值阈值的网络流量时间序列，得到候选网络流量时间序列，和/或，利用滑动平均算法对缺失值进行插值填充，得到候选网络流量时间序列。
在其中一些实施例中，该确定模块34还进一步包括：
第一确定单元，用于确定残差项时序数据所对应多个误差值，其中，误差值为残差项时序数据与所对应的预测时序数据的差值的绝对值；
第一判断单元，与第一确定单元耦合连接，用于判断多个误差值之和是否大于预设误差值阈值；
第一识别单元，与第一判断单元耦合连接，用于在判断到多个误差值之和大于预设误差值阈值的情况下，确定网络流量时间序列所对应的网络流量数据为异常网络流量数据。
图4是本申请实施例的电子设备的结构示意图，如图4所示，本申请实施例提供了一种电子设备，包括处理器41、通信接口42、存储器43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信，
存储器43，用于存放计算机程序；
处理器41，用于执行存储器43上所存放的程序时，实现图1中的方法步骤。
该电子设备中的处理实现图1中的方法步骤，所带来的技术效果与上述实施例执行图1中异常流量识别方法的技术效果一致，在此不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(RandomAccess Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的异常流量识别方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的异常流量识别方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种异常流量识别方法，其特征在于，包括：
获取网络流量时间序列，其中，所述网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；
对所述网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，所述目标时序数据用于表征所述网络流量时间序列的异常数据；
利用长短期记忆神经网络预测模型对所述目标时序数据进行处理，获得与所述目标时序数据对应的预测时序数据；
基于所述预测时序数据和所述目标时序数据的误差值，确定异常流量识别结果。
2.根据权利要求1所述的方法，其特征在于，获取网络流量时间序列，包括：
从预设文件系统中获取对应的网络流量数据；
将所述网络流量数据转化预设的键值对key-value格式，得到所述网络流量时间序列，其中，所述key-value中key用于表征一个所述目标业务，所述key-value中value用于表征目标业务在预设时间长度中，每个单位时段接入的网络流量数据。
3.根据权利要求2所述的方法，其特征在于，对所述网络流量时间序列进行预处理，包括：
检测所述网络流量时间序列的缺失值；
基于所述缺失值，对所述网络流量时间序列进行过滤处理，得到候选网络流量时间序列；
根据所述候选网络流量时间序列，生成多种类别的第一流量时序数据，其中，每种所述第一流量时序数据对应一种设定的变化周期；
过滤多种所述第一流量时序数据中变化周期小于流量变化周期阈值的第一流量时序数据，并基于过滤得到的第二流量时序数据，生成所述网络流量时序数据集。
4.根据权利要求3所述的方法，其特征在于，根据所述候选网络流量时间序列，生成多种类别的第一流量时序数据，包括：利用时间序列分解算法STL对所述候选网络流量时间序列进行分解，生成多种所述第一流量时序数据。
5.根据权利要求4所述的方法，其特征在于，基于过滤得到的第二流量时序数据，生成所述网络流量时序数据集，包括：
利用移动窗递推算法，对所有所述第二流量时序数据进行加窗，得到每条所述第二流量时序数据所对应的子时序数据集，其中，所述网络流量时序数据集包括每条所述第二流量时序数据所对应的子时序数据集。
6.根据权利要求5所述的方法，其特征在于，所述第二流量时序数据至少包括残差项时序数据，从预处理所生成的网络流量时序数据集中获取目标时序数据，包括：
从所述网络流量时序数据集所对应的多种类别的所述第二流量时序数据中，选取所述残差项时序数据；
将所述残差项时序数据作为所述目标时序数据，其中，所述目标时序数据包括每条所述残差项时序数据对应的子时序数据集。
7.根据权利要求6所述的方法，其特征在于，基于所述预测时序数据和所述目标时序数据的误差值，确定异常流量识别结果，包括：
确定所述残差项时序数据所对应多个所述误差值，其中，所述误差值为所述残差项时序数据与所对应的所述预测时序数据的差值的绝对值；
判断多个所述误差值之和是否大于预设误差值阈值；
在判断到多个所述误差值之和大于所述预设误差值阈值的情况下，确定所述网络流量时间序列所对应的网络流量数据为异常网络流量数据。
8.根据权利要求3所述的方法，其特征在于，基于所述缺失值，对所述网络流量时间序列进行过滤处理，得到候选网络流量时间序列，包括：
删除所述缺失值大于缺失值阈值的网络流量时间序列，得到所述候选网络流量时间序列，和/或，
利用滑动平均算法对所述缺失值进行插值填充，得到所述候选网络流量时间序列。
9.根据权利要求1所述的方法，其特征在于，所述长短期记忆神经网络预测模型包括基于注意力的长短期记忆网络Attention-based LSTM，所述长短期记忆神经网络预测模型的训练过程包括：
获取历史网络流量数据，并将所述网络流量数据按键值对key-value格式转换为对应的历史网络流量时间序列；
对所述历史网络流量时间序列进行对应的预处理，得到历史网络流量时间序列所对应的残差项时间序列，其中，所述预处理包括缺失值过滤、插值、STL分解；
对所述残差项时间序列进行增窗，得到对应的初始全量数据集，并按预设分配比将所述初始全量数据集拆解为训练集和测试集；
通过所述训练集和测试集对初始Attention-based LSTM进行训练，得到所述初始全量数据集的权重和对应的待选预测模型；
基于所述初始全量数据集的权重，对所述初始全量数据集进行加权，得到备选全量数据集；
在所述备选全量数据集中，按权重由大到小顺序选取预设数据量的数据，得到目标全量数据，并通过所述目标全量数据对所述待选预测模型进行重训练，得到所述长短期记忆神经网络预测模型。
10.一种异常流量识别装置，其特征在于，包括：
获取模块，用于获取网络流量时间序列，其中，所述网络流量时间序列用于表征目标业务在预设时间长度中，每个单位时段所接入的网络流量数据；
预处理模块，用于对所述网络流量时间序列进行预处理，并从预处理所生成的网络流量时序数据集中获取目标时序数据，其中，所述目标时序数据用于表征所述网络流量时间序列的异常数据；
处理模块，用于利用长短期记忆神经网络预测模型对所述目标时序数据进行处理，获得与所述目标时序数据对应的预测时序数据；
确定模块，用于基于所述预测时序数据和所述目标时序数据的误差值，确定异常流量识别结果。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一项所述的异常流量识别方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的异常流量识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759958.3A CN115118511B (zh) | 2022-06-29 | 2022-06-29 | 异常流量识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759958.3A CN115118511B (zh) | 2022-06-29 | 2022-06-29 | 异常流量识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115118511A true CN115118511A (zh) | 2022-09-27 |
| CN115118511B CN115118511B (zh) | 2024-06-18 |
Family
ID=83331464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210759958.3A Active CN115118511B (zh) | 2022-06-29 | 2022-06-29 | 异常流量识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115118511B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915517A (zh) * | 2023-09-14 | 2023-10-20 | 厦门快快网络科技有限公司 | 一种云服务资源风险安全管理方法 |
| CN117479219A (zh) * | 2023-11-07 | 2024-01-30 | 广州方舟文化科技有限公司 | 一种手机流量卡套餐监测方法及系统 |
| CN117540153A (zh) * | 2024-01-09 | 2024-02-09 | 南昌工程学院 | 一种隧道监测数据预测方法及系统 |
| CN117788396A (zh) * | 2023-12-18 | 2024-03-29 | 江苏省特种设备安全监督检验研究院 | 一种基于深度学习的dr图像缺陷智能识别算法 |
| CN117951628A (zh) * | 2024-03-22 | 2024-04-30 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
| CN117997627A (zh) * | 2024-02-28 | 2024-05-07 | 途家网网络技术(北京)有限公司 | 网络异常识别方法和系统 |
| CN118101349A (zh) * | 2024-04-26 | 2024-05-28 | 西安交通大学城市学院 | 基于人工智能的网络安全可视化监测方法 |
| CN118573591A (zh) * | 2024-08-02 | 2024-08-30 | 科来网络技术股份有限公司 | 基于流量预测的网络异常检测方法、系统、终端及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137412A1 (en) * | 2016-11-16 | 2018-05-17 | Cisco Technology, Inc. | Network traffic prediction using long short term memory neural networks |
| WO2018121157A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京神州绿盟信息安全科技股份有限公司 | 一种网络流量异常检测方法及装置 |
| CN110881037A (zh) * | 2019-11-19 | 2020-03-13 | 北京工业大学 | 网络入侵检测方法及其模型的训练方法、装置和服务器 |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN112232604A (zh) * | 2020-12-09 | 2021-01-15 | 南京信息工程大学 | 基于Prophet模型提取网络流量的预测方法 |
| CN112291808A (zh) * | 2020-11-02 | 2021-01-29 | 东南大学 | 基于深度学习的区域网络流量预测方法 |
| CN112469053A (zh) * | 2020-11-16 | 2021-03-09 | 山东师范大学 | 一种td-lte无线网络数据流量预测方法及系统 |
| CN113837814A (zh) * | 2021-11-01 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 投放资源数量预测的方法、装置、可读介质及电子设备 |
| CN114091768A (zh) * | 2021-11-25 | 2022-02-25 | 安徽大学 | 基于stl和带有注意力机制的lstm的旅游需求预测方法 |
| CN114239990A (zh) * | 2021-12-24 | 2022-03-25 | 长春大学 | 一种基于时间序列分解和lstm的时间序列数据预测方法 |
| CN114285728A (zh) * | 2021-12-27 | 2022-04-05 | 中国电信股份有限公司 | 一种预测模型训练方法、流量预测方法、装置及存储介质 |
-
2022
- 2022-06-29 CN CN202210759958.3A patent/CN115118511B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137412A1 (en) * | 2016-11-16 | 2018-05-17 | Cisco Technology, Inc. | Network traffic prediction using long short term memory neural networks |
| WO2018121157A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京神州绿盟信息安全科技股份有限公司 | 一种网络流量异常检测方法及装置 |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN110881037A (zh) * | 2019-11-19 | 2020-03-13 | 北京工业大学 | 网络入侵检测方法及其模型的训练方法、装置和服务器 |
| CN112291808A (zh) * | 2020-11-02 | 2021-01-29 | 东南大学 | 基于深度学习的区域网络流量预测方法 |
| CN112469053A (zh) * | 2020-11-16 | 2021-03-09 | 山东师范大学 | 一种td-lte无线网络数据流量预测方法及系统 |
| CN112232604A (zh) * | 2020-12-09 | 2021-01-15 | 南京信息工程大学 | 基于Prophet模型提取网络流量的预测方法 |
| CN113837814A (zh) * | 2021-11-01 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 投放资源数量预测的方法、装置、可读介质及电子设备 |
| CN114091768A (zh) * | 2021-11-25 | 2022-02-25 | 安徽大学 | 基于stl和带有注意力机制的lstm的旅游需求预测方法 |
| CN114239990A (zh) * | 2021-12-24 | 2022-03-25 | 长春大学 | 一种基于时间序列分解和lstm的时间序列数据预测方法 |
| CN114285728A (zh) * | 2021-12-27 | 2022-04-05 | 中国电信股份有限公司 | 一种预测模型训练方法、流量预测方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 石婧文;罗树添;叶可江;须成忠;: "电商集群的流量预测与不确定性区间估计", 集成技术, no. 03 * |
| 赵阳阳;夏亮;江欣国;: "基于经验模态分解与长短时记忆神经网络的短时地铁客流预测模型", 交通运输工程学报, no. 04 * |
| 郭琳;张大方;黎文伟;谢鲲;: "基于流分解的异常检测算法", 计算机应用研究, no. 12 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915517A (zh) * | 2023-09-14 | 2023-10-20 | 厦门快快网络科技有限公司 | 一种云服务资源风险安全管理方法 |
| CN116915517B (zh) * | 2023-09-14 | 2023-11-24 | 厦门快快网络科技有限公司 | 一种云服务资源风险安全管理方法 |
| CN117479219A (zh) * | 2023-11-07 | 2024-01-30 | 广州方舟文化科技有限公司 | 一种手机流量卡套餐监测方法及系统 |
| CN117788396A (zh) * | 2023-12-18 | 2024-03-29 | 江苏省特种设备安全监督检验研究院 | 一种基于深度学习的dr图像缺陷智能识别算法 |
| CN117540153A (zh) * | 2024-01-09 | 2024-02-09 | 南昌工程学院 | 一种隧道监测数据预测方法及系统 |
| CN117540153B (zh) * | 2024-01-09 | 2024-03-29 | 南昌工程学院 | 一种隧道监测数据预测方法及系统 |
| CN117997627A (zh) * | 2024-02-28 | 2024-05-07 | 途家网网络技术(北京)有限公司 | 网络异常识别方法和系统 |
| CN117951628A (zh) * | 2024-03-22 | 2024-04-30 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
| CN117951628B (zh) * | 2024-03-22 | 2024-06-11 | 陕西德联新能源有限公司 | 一种供热系统异常数据监测方法及系统 |
| CN118101349A (zh) * | 2024-04-26 | 2024-05-28 | 西安交通大学城市学院 | 基于人工智能的网络安全可视化监测方法 |
| CN118573591A (zh) * | 2024-08-02 | 2024-08-30 | 科来网络技术股份有限公司 | 基于流量预测的网络异常检测方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115118511B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115118511A (zh) | 异常流量识别方法、装置、电子设备及存储介质 | |
| CN110113226B (zh) | 一种检测设备异常的方法及装置 | |
| Lin et al. | Anomaly detection for time series using vae-lstm hybrid model | |
| CN114118640B (zh) | 长期降水预测模型构建方法、长期降水预测方法及装置 | |
| CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
| CN109800483A (zh) | 一种预测方法、装置、电子设备和计算机可读存储介质 | |
| CN110830450A (zh) | 基于统计的异常流量监测方法、装置、设备及存储介质 | |
| CN113344295A (zh) | 基于工业大数据的设备剩余寿命预测方法、系统及介质 | |
| CN111368980B (zh) | 状态检测方法、装置、设备及存储介质 | |
| CN113672600B (zh) | 一种异常检测方法及系统 | |
| CN111435463A (zh) | 数据处理方法及相关设备、系统 | |
| US11501107B2 (en) | Key-value memory network for predicting time-series metrics of target entities | |
| CN114595113A (zh) | 应用系统中的异常检测方法和装置、异常检测功能设置方法 | |
| Marra et al. | Non-asymptotic Weibull tails explain the statistics of extreme daily precipitation | |
| CN114169604A (zh) | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 | |
| CN112183289A (zh) | 一种花屏检测方法、装置、设备及介质 | |
| CN116776269A (zh) | 基于图卷积神经网络自编码器的交通异常检测方法 | |
| CN114356734A (zh) | 服务异常检测方法和装置、设备、存储介质 | |
| Zhang et al. | A new precipitation forecast method based on CEEMD-WTD-GRU | |
| CN113746862A (zh) | 一种基于机器学习的异常流量检测方法、装置和设备 | |
| CN110910241B (zh) | 现金流评估方法、装置、服务器设备及存储介质 | |
| CN115883424B (zh) | 一种高速骨干网间流量数据预测方法及系统 | |
| CN114938339B (zh) | 一种数据处理方法和相关装置 | |
| CN109919744A (zh) | 基于神经网络的检测方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |