CN115150248B - 网络流量异常检测方法、装置、电子设备和存储介质 - Google Patents

网络流量异常检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115150248B
CN115150248B CN202110281671.XA CN202110281671A CN115150248B CN 115150248 B CN115150248 B CN 115150248B CN 202110281671 A CN202110281671 A CN 202110281671A CN 115150248 B CN115150248 B CN 115150248B
Authority
CN
China
Prior art keywords
flow
data
baseline
dynamic
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110281671.XA
Other languages
English (en)
Other versions
CN115150248A (zh
Inventor
胡炜
王鑫
端木婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110281671.XA priority Critical patent/CN115150248B/zh
Publication of CN115150248A publication Critical patent/CN115150248A/zh
Application granted granted Critical
Publication of CN115150248B publication Critical patent/CN115150248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0609—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on severity or priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供网络流量异常检测方法、装置、电子设备和存储介质，包括：针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；基于所述流量数据源设置流量数据基线值；采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。本发明通过结合深度学习算法中的长短期记忆网络和卷积神经网络，对异常流量进行实时处理，采用动态基线算法对流量阈值指标进行分析处理，对网络流量异常智能监控，并制定分级告警机制，使流量异常检测更加灵活，排查异常情况更加高效。

Description

网络流量异常检测方法、装置、电子设备和存储介质
技术领域
本发明涉及移动网络技术领域，尤其涉及网络流量异常检测方法、装置、电子设备和存储介质。
背景技术
在网络日常运行中，网络监控是必不可少的维护手段。目前监控系统中网络流量主要采用恒定基线阈值检测方法来监控网络流量，对应的基线临界线设置为一个固定阈值，如果采集的数据源在其设定的恒定基线阈值之外，则认为流量异常，发出告警。而基线阈值的选定在网络管理员试验经验和对以往数据的统计分析下确定，且这种流量阈值设置是基于数据包特征的检测下进行，监控之前要获取数据包特征，需为每一种特征开发专属的检测程序等流程。
现有的告警方式存在如下不足之处：
1、告警阈值需要手动设置，缺乏智能化：在传统方式上，维护人员基于经验判断各个指标的阈值，手动设置阈值。在设备数量多的情况下，系统难以承担，导致效率低。对于波动幅度较大的指标，维护人员工作量大，阈值设置难度大，不利于系统的开展，承担过大的风险；
2、告警阈值固定，不便于实时调整动态告警阈值：若固定告警阈值设置较大，只对流量波峰有意义，造成其他时段流量处于失控状态；若固定告警阈值设置小，无法满足波峰的状态告警，则峰值流量长时间处于告警状态，失去告警意义；
3、告警机制不够全面：流量告警主要是基于规则的告警关联，将告警相关性知识定义在规则集中，而系统本身没有学习能力，智能获取流量数据制定告警机制困难。面对异常数据源多的情况，维护人员不停添加监测程序措手不及。漏报率和误报率很高，无法为维护人员提供可靠流量信息。
发明内容
本发明提供网络流量异常检测方法、装置、电子设备和存储介质，用以解决现有技术中针对网络异常流量的告警不够智能和全面的缺陷。
第一方面，本发明提供网络流量异常检测方法，包括：
针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；
基于所述流量数据源设置流量数据基线值；
采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；
基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
在一个实施例中，所述针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中，具体包括：
采用预设流量采集工具收集路由器发送的流量数据源，将所述流量数据源与数据源字段进行匹配；
将所述流量数据源的原始数据转化为流量速率存储在oracle系统中，并记录数据源的信息集合。
在一个实施例中，所述数据源字段包括源地址、目的地址、源端口号、目的端口号、协议类型、包数量、字节数和流数量；
所述信息集合包括标识字段ID、数据源路由器IP地址AddIP、路由器端口号Port、路由器端口出口流量速率OutRate、路由器端口入口流量速率InRate和流量数据采集时刻Time。
在一个实施例中，所述采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值，具体包括：
选择预设规模的样本空间和历史基线数据；
基于所述历史基线数据对所述样本空间中的样本点数据进行预处理，得到预处理后的有效数据；
基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值。
在一个实施例中，所述基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值，具体包括：
对所述预处理后的有效数据进行排序，按照预设排序顺序进行记录，得到排序的有效数据；
确定可接受不产生告警指标的预设百分比，将所述预设百分比乘以所述排序的有效数据得到滑动排序数据窗口，计算所述滑动排序数据窗口的均方差；
提取所述均方差最小的所述滑动排序数据窗口中的数据，以所述数据的最大值作为动态基线上限，以所述数据的最小值作为动态基线下限，得到所述动态基线流量阈值。
在一个实施例中，所述基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果，具体包括：
对所述动态基线流量阈值进行时间序列预处理和长短期记忆网络学习得到时间特征；
采用卷积神经网络对所述动态基线流量阈值进行学习，得到空间特征；
结合所述时间特征和所述空间特征，得到所述流量异常检测结果。
在一个实施例中，所述基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果，之后还包括：
对所述流量异常检测结果中的异常部分制定分级告警机制。
第二方面，本发明还提供网络流量异常检测装置，包括：
采集模块，用于针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；
设置模块，用于基于所述流量数据源设置流量数据基线值；
处理模块，用于采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；
检测模块，用于基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络流量异常检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络流量异常检测方法的步骤。
本发明提供的网络流量异常检测方法、装置、电子设备和存储介质，通过结合深度学习算法中的长短期记忆网络和卷积神经网络，对异常流量进行实时处理，采用动态基线算法对流量阈值指标进行分析处理，对网络流量异常智能监控，并制定分级告警机制，使流量异常检测更加灵活，排查异常情况更加高效。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的网络流量异常检测方法的流程示意图；
图2是本发明提供的整体结构流程示意图；
图3是本发明提供的采集流量数据源的流程示意图；
图4是本发明提供的流量数据源处理存储的流程示意图；
图5是本发明提供的深度学习算法实现流量异常检测的流程示意图；
图6是本发明提供的时间序列预处理和长短期记忆网络实现的流程示意图；
图7是本发明提供的以业务支撑运营管理系统为例的异常检测优化效果示意图；
图8是本发明提供的网络流量异常检测装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术的不足，本发明提出网络流量异常检测方法，用于解决业务支撑运维管理系统告警基线阈值固定，流量异常检测机制漏报、误报率高，告警效率低，延迟长等问题。
图1是本发明提供的网络流量异常检测方法的流程示意图，如图1所示，包括：
101，针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；
102，基于所述流量数据源设置流量数据基线值；
103，采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；
104，基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
具体地，本发明所提出的网络流量异常检测方法是通过结合深度学习算法，对异常流量进行实时处理，采用动态基线算法对流量阈值指标进行分析处理，并对网络流量异常实现智能监控。
主要包括采集流量数据源、数据源处理存储、设置流量基线值、设置动态基线阈值和流量异常告警，如图2所示。
流量数据源采集方法利用NetFlow，针对路由器送出的流量数据源，NetFlow进行数据采集存储到数据库，待下一步继续利用；读取NetFlow收集的原始数据转化为流量速率存储在数据库管理系统orcle中；基于采集的流量数据源，设置正常流量数据基线值b；进一步采用动态基线算法得到动态基线流量阈值；最后采用多个深度学习算法实现流量异常检测。
本发明通过结合深度学习算法中的长短期记忆网络和卷积神经网络，对异常流量进行实时处理，采用动态基线算法对流量阈值指标进行分析处理，对网络流量异常智能监控，使流量异常检测更加灵活，排查异常情况更加高效。
基于上述实施例，该方法中步骤S1具体包括：
采用预设流量采集工具收集路由器发送的流量数据源，将所述流量数据源与数据源字段进行匹配；
将所述流量数据源的原始数据转化为流量速率存储在oracle系统中，并记录数据源的信息集合。
其中，所述数据源字段包括源地址、目的地址、源端口号、目的端口号、协议类型、包数量、字节数和流数量；
所述信息集合包括标识字段ID、数据源路由器IP地址AddIP、路由器端口号Port、路由器端口出口流量速率OutRate、路由器端口入口流量速率InRate和流量数据采集时刻Time。
具体地，本发明采用NetFlow采集工具收集路由器送出的流量数据源。
NetFlow采集过程中字段包括：源地址-目的地址-源端口号-目的端口号-协议类型-包数量-字节数-流数量。路由器送出的流量数据信息与采集字段过程匹配，将这一过程的开始时间、持续时间和流数据信息记录下来，等待采集过程结束，NetFlow对信息汇总存储，采集过程如图3所示。
进一步地，将读取的NetFlow收集的原始数据转化为流量速率存储在数据库管理系统oracle中，并记录数据的标识字段ID、数据源路由器IP地址AddIP、路由器端口号Port、路由器端口的出口流量速率OutRate、路由器端口的入口流量速率InRate和流量数据采集时刻Time，oracle存储流量数据源流程如图4所示。
本发明采用预设采集工具对路由器的流量进行系统采集并存储在数据库中，实现了对流量数据的有效整合。
基于上述任一实施例，该方法中步骤S3具体包括：
选择预设规模的样本空间和历史基线数据；
基于所述历史基线数据对所述样本空间中的样本点数据进行预处理，得到预处理后的有效数据；
基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值。
其中，所述基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值，具体包括：
对所述预处理后的有效数据进行排序，按照预设排序顺序进行记录，得到排序的有效数据；
确定可接受不产生告警指标的预设百分比，将所述预设百分比乘以所述排序的有效数据得到滑动排序数据窗口，计算所述滑动排序数据窗口的均方差；
提取所述均方差最小的所述滑动排序数据窗口中的数据，以所述数据的最大值作为动态基线上限，以所述数据的最小值作为动态基线下限，得到所述动态基线流量阈值。
具体地，首先进行历史统计数据的选取及预处理，即选择适当规模的样本空间，以及选取历史基线数据。
然后进行样本点数据的预处理，选定样本空间后，对其中的样本点数据进行预处理。按照概率算法，基于历史统计数据确定的正常数据比例，自动选出最为集中分布的数据作为正常数据。在系统实现时，一般可以按照下述原则对正常数据比例进行调整：
1)根据特定专业网络、设备运行状况，设定合理的比例；
2)在设定比例下，业务或网络异常能够导致告警产生；
3)在设定比例下，产生的告警据有监控的价值。
最后计算基线流量阈值，利用历史数据计算某个指标在特定时段的正常波动范围，利用预处理后得到的有效历史数据计算波动范围的上、下临界基线值。本发明采用的动态基线算法如下：
1)首先对预处理后的有效数据进行排序，假定共有N*个，分别记为X1～XN*；
2)假定有效数据的Y％为可以接受而不用产生告警的指标值，滑动排序数据的窗口(共N*×Y％个数据)，计算该窗口中数据的均方差。计算该窗口中样本的平均值作为期望值E(X)；计算窗口各个样本点对于数学期望的偏离程度，单个偏离是X-E(X)，为消除符号影响，一般取(X-E(X))2。求方差，D(X)＝E[(X-E(X))2]，求标准差或均方差，描述该组样本的波动程度；
3)取均方差最小的窗口中的数据，以其最大值作为基线上限，以其最小值作为基线的下限。
本发明通过动态基线对网络实现动态监控，根据历史流量数据动态生成基线阈值，减少人工配置固定流量阈值，减轻了人力投入，而且能够更加贴切的实际网络的流量监控，针对不同的业务环境，能够适应网络环境的变化，能快速满足监控需求。
基于上述任一实施例，该方法中步骤S4具体包括：
对所述动态基线流量阈值进行时间序列预处理和长短期记忆网络学习得到时间特征；
采用卷积神经网络对所述动态基线流量阈值进行学习，得到空间特征；
结合所述时间特征和所述空间特征，得到所述流量异常检测结果。
具体地，本发明采用多种深度学习算法实现流量异常检测，动态基线阈值结合深度学习算法中长短期记忆网络和卷积神经网络的预测模型，得到网络流量数据的时空特征，实现预测下一时段网络流量特征变化，整体流程如图5所示。
首先是对动态基线流量阈值进行时间序列预处理和长短期记忆(LSTM)网络学习时间特征，该网络使用了具有很多层的LSTM单元的编码器-解码器框架如图6所示。将提取特征一时间序列输入{Ct}输入，预测网络由编码器和解码器组成，其中编码器读入前T个时间戳{C1，C2···，Ct}对LSTM单元进行训练，解码器在{Ct-n+1,Ct-n+2,…,Ct}通过预测好的LSTM单元输出预测的下一时间序列{Ct+1,Ct+2,…,Ct+n}，作为预测结果输出。
该步骤使用了双向LSTM神经网络作为该模型的预测网络，将阈值数据集通过数据预处理构造为包含多个连续流量数据的时间序列，每个训练样本由相邻时间戳的两个时间序列组成。通过构造好的LSTM神经网络模型，对样本集进行训练得到能够预测下一时间戳的时间序列预测器。该步骤用于对实时阈值流量的观测进行下一时间戳阈值数据流量的预测。
然后采用卷积神经网络(CNN)来学习流量数据的空间特征，用来对动态阈值流量的空间特征进行学习，将拥有n维特征项的流量数据通过独热编码后转换为单个m*m的网络流量图像，其中网络结构采用堆叠三层CNN神经网络，并在每层CNN神经后面添加Dropout层防止模型出现过拟合现象，随后添加一层Flatten将二维图像的流量数据降维度输出。
最后将经过卷积神经网络处理后的空间特征与时间特征结合，实时监测流量异常。
本发明通过将长短期神经网络与卷积神经网络结合，将网络流量预测处理为时间序列预测过程，进行时间特征训练和阈值流量数据走向预测，高效获取网络异常流量，两种学习算法结合，实现实时自动化监控网络流量异常；同时在未设定业务流量固定阈值时，能提供给维护人员重要的流量异常报警信息，能够有效协助网络管理人员尽早侦测和发现网络中的异常，漏报率和误报率降低。
基于上述任一实施例，该方法中步骤S4之后还包括：
对所述流量异常检测结果中的异常部分制定分级告警机制。
具体地，根据前述实施例中检测到的异常流量制定告警严重等级，分为正常一级，告警二级，告警三级，告警四级。等级制定算法如下：
假设前t天与待检验的历史流量阈值y1，y2，y3......yt，待检验流量阈值与流量基线偏离可表示为b由前述实施例获得。
1)当|yt+1-b|≤Xt时，网络正常，设为正常一级；
2)当Xt<|yt+1-b|≤2Xt时，流量出现异常，产生较小偏差，产生告警二级；
3)当2Xt<|yt+1-b|≤3Xt时，产生中级告警，设为告警三级；
4)当3Xt<|yt+1-b|时，产生严重告警，设为告警四级。
本发明通过制定告警分级机制，使得网络流量异常检测更加灵活自动化，使用网络过程中如出现异常，大大缩短了告警发送时间，使得运维人员能够更加快速的去排查网络流量异常出现的问题。
基于上述任一实施例，以业务支撑网运营管理系统(以下简称BOMC，BusinessOperation Management Center)为例，对流量异常检测优化进行验证：
在综合考虑动态基线阈值设置要点以及BOMC网络流量分析系统的设计原则，利用CNN网络识别网络进出带宽所占比率的检测以及LSTM流量阈值的预测，根据不同时段SNMP(Simple Network Management Protocol，简单网络管理协议)所收集流量记录，本发明方法对BOMC流量异常检测优化效果如图7所示。
下面对本发明提供的网络流量异常检测装置进行描述，下文描述的网络流量异常检测装置与上文描述的网络流量异常检测方法可相互对应参照。
图8是本发明提供的网络流量异常检测装置的结构示意图，如图8所示，包括：采集模块81、设置模块82、处理模块83和检测模块84；其中：
采集模块81用于针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；设置模块82用于基于所述流量数据源设置流量数据基线值；处理模块83用于采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；检测模块84用于基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
本发明通过结合深度学习算法中的长短期记忆网络和卷积神经网络，对异常流量进行实时处理，采用动态基线算法对流量阈值指标进行分析处理，对网络流量异常智能监控，使流量异常检测更加灵活，排查异常情况更加高效。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(CommunicationsInterface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行网络流量异常检测方法，该方法包括：针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；基于所述流量数据源设置流量数据基线值；采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的网络流量异常检测方法，该方法包括：针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；基于所述流量数据源设置流量数据基线值；采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的网络流量异常检测方法，该方法包括：针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；基于所述流量数据源设置流量数据基线值；采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；基于预设深度学习算法检测所述动态基线阈值，得到流量异常检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.网络流量异常检测方法，其特征在于，包括：
针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；
基于所述流量数据源设置流量数据基线值；
采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；
基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果；
所述采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值，具体包括：
选择预设规模的样本空间和历史基线数据；
基于所述历史基线数据对所述样本空间中的样本点数据进行预处理，得到预处理后的有效数据；
基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值；
所述基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值，具体包括：
对所述预处理后的有效数据进行排序，按照预设排序顺序进行记录，得到排序的有效数据；
确定可接受不产生告警指标的预设百分比，将所述预设百分比乘以所述排序的有效数据得到滑动排序数据窗口，计算所述滑动排序数据窗口的均方差；
提取所述均方差最小的所述滑动排序数据窗口中的数据，以所述数据的最大值作为动态基线上限，以所述数据的最小值作为动态基线下限，得到所述动态基线流量阈值；
所述基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果，具体包括：
对所述动态基线流量阈值进行时间序列预处理和长短期记忆网络学习得到时间特征；
采用卷积神经网络对所述动态基线流量阈值进行学习，得到空间特征；
结合所述时间特征和所述空间特征，得到所述流量异常检测结果；
其中，利用所述卷积神经网络识别网络进出带宽所占比率的检测以及长短期记忆网络流量阈值的预测。
2.根据权利要求1所述的网络流量异常检测方法，其特征在于，所述针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中，具体包括：
采用预设流量采集工具收集路由器发送的流量数据源，将所述流量数据源与数据源字段进行匹配；
将所述流量数据源的原始数据转化为流量速率存储在oracle系统中，并记录数据源的信息集合。
3.根据权利要求2所述的网络流量异常检测方法，其特征在于，所述数据源字段包括源地址、目的地址、源端口号、目的端口号、协议类型、包数量、字节数和流数量；
所述信息集合包括标识字段ID、数据源路由器IP地址AddIP、路由器端口号Port、路由器端口出口流量速率OutRate、路由器端口入口流量速率InRate和流量数据采集时刻Time。
4.根据权利要求1所述的网络流量异常检测方法，其特征在于，所述基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果，之后还包括：
对所述流量异常检测结果中的异常部分制定分级告警机制。
5.网络流量异常检测装置，其特征在于，包括：
采集模块，用于针对待检测网络流量采集流量数据源，将所述流量数据源存储在预设数据库管理系统中；
设置模块，用于基于所述流量数据源设置流量数据基线值；
处理模块，用于采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值；
检测模块，用于基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果；
所述采用动态基线算法对设置所述流量数据基线值的所述流量数据源进行处理，得到动态基线流量阈值，具体包括：
选择预设规模的样本空间和历史基线数据；
基于所述历史基线数据对所述样本空间中的样本点数据进行预处理，得到预处理后的有效数据；
基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值；
所述基于所述动态基线算法对所述预处理后的有效数据进行计算，得到所述动态基线流量阈值，具体包括：
对所述预处理后的有效数据进行排序，按照预设排序顺序进行记录，得到排序的有效数据；
确定可接受不产生告警指标的预设百分比，将所述预设百分比乘以所述排序的有效数据得到滑动排序数据窗口，计算所述滑动排序数据窗口的均方差；
提取所述均方差最小的所述滑动排序数据窗口中的数据，以所述数据的最大值作为动态基线上限，以所述数据的最小值作为动态基线下限，得到所述动态基线流量阈值；
所述基于预设深度学习算法检测所述动态基线流量阈值，得到流量异常检测结果，具体包括：
对所述动态基线流量阈值进行时间序列预处理和长短期记忆网络学习得到时间特征；
采用卷积神经网络对所述动态基线流量阈值进行学习，得到空间特征；
结合所述时间特征和所述空间特征，得到所述流量异常检测结果；
其中，利用所述卷积神经网络识别网络进出带宽所占比率的检测以及长短期记忆网络流量阈值的预测。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述网络流量异常检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述网络流量异常检测方法的步骤。
CN202110281671.XA 2021-03-16 2021-03-16 网络流量异常检测方法、装置、电子设备和存储介质 Active CN115150248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281671.XA CN115150248B (zh) 2021-03-16 2021-03-16 网络流量异常检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281671.XA CN115150248B (zh) 2021-03-16 2021-03-16 网络流量异常检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115150248A CN115150248A (zh) 2022-10-04
CN115150248B true CN115150248B (zh) 2023-09-19

Family

ID=83403682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281671.XA Active CN115150248B (zh) 2021-03-16 2021-03-16 网络流量异常检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115150248B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116208431B (zh) * 2023-04-28 2023-08-11 国家工业信息安全发展研究中心 一种工控网络流量异常检测方法、系统、装置和可读介质
CN117880856B (zh) * 2024-03-11 2024-05-31 武汉众诚华鑫科技有限公司 一种基于人工智能的电信基站安全预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888441A (zh) * 2016-09-30 2018-04-06 全球能源互联网研究院 一种网络流量基线自学习自适应方法
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN111556057A (zh) * 2020-04-29 2020-08-18 绿盟科技集团股份有限公司 一种流量异常检测方法、装置、电子设备及存储介质
CN112073255A (zh) * 2020-03-25 2020-12-11 长扬科技（北京）有限公司 基于深度学习的工控网络流量预测方法、装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457928B2 (en) * 2010-03-26 2013-06-04 Bmc Software, Inc. Automatic determination of dynamic threshold for accurate detection of abnormalities
US20200204571A1 (en) * 2018-12-19 2020-06-25 AVAST Software s.r.o. Malware detection in network traffic time series

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888441A (zh) * 2016-09-30 2018-04-06 全球能源互联网研究院 一种网络流量基线自学习自适应方法
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN112073255A (zh) * 2020-03-25 2020-12-11 长扬科技（北京）有限公司 基于深度学习的工控网络流量预测方法、装置
CN111556057A (zh) * 2020-04-29 2020-08-18 绿盟科技集团股份有限公司 一种流量异常检测方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
dynamic baseline detection method for power data network service;Wei Chen;Aip Conference Proceedings;全文 *
基于KL距离的自适应阈值网络流量异常检测;蒋华, 张红福, 罗一迪;计算机工程;第45卷(第04期);全文 *
基于机器学习的动态基线性能时序数据异常检测研究与应用;马玉超;;中国金融电脑;2020年(第06期);全文 *
基于深度学习的网络流时空特征自动提取方法;黄璇丽, 李成明, 姜青山;集成技术;第9卷(第02期);全文 *
基于深度学习的网络流量异常预测方法;黎佳玥, 赵波, 李想;计算机工程与应用;第56卷(第06期);全文 *

Also Published As

Publication number Publication date
CN115150248A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN108415789B (zh) 面向大规模混合异构存储系统的节点故障预测系统及方法
CN109347668B (zh) 一种服务质量评估模型的训练方法及装置
CN111507376B (zh) 一种基于多种无监督方法融合的单指标异常检测方法
CN115150248B (zh) 网络流量异常检测方法、装置、电子设备和存储介质
CN112015153B (zh) 一种无菌灌装生产线异常检测系统和方法
CN110855502A (zh) 一种基于时空分析日志的故障定因方法和系统
CN108173670A (zh) 检测网络的方法和装置
CN111756600B (zh) 一种实现多种交换机测试机的多通信系统及方法
CN111290913A (zh) 一种基于运维数据预测的故障定位可视化系统和方法
CN115080290B (zh) 一种基于智能算法的异常数据检测方法及系统
CN114201374A (zh) 基于混合机器学习的运维时序数据异常检测方法及系统
CN116684878B (zh) 一种5g信息传输数据安全监测系统
CN111984442A (zh) 计算机集群系统的异常检测方法及装置、存储介质
CN111506635A (zh) 一种基于自回归和朴素贝叶斯算法的居民用电行为分析的系统及方法
CN116302809A (zh) 边缘端数据分析计算装置
CN114743089B (zh) 一种基于ssa-svm的图像识别gis故障诊断装置及方法
CN114338351B (zh) 网络异常根因确定方法、装置、计算机设备及存储介质
CN113612625A (zh) 一种网络故障定位方法及装置
CN117421994A (zh) 一种边缘应用健康度的监测方法和监测系统
CN112001622A (zh) 云虚拟网关的健康度评估方法、系统、设备和存储介质
CN117113159A (zh) 基于深度学习的电力用户侧负荷分类方法及系统
CN112187680A (zh) 一种光纤存储网络大数据智慧监控和预警方法及系统
CN117170915A (zh) 数据中心设备故障预测方法、装置和计算机设备
CN116155581A (zh) 一种基于图神经网络的网络入侵检测方法与装置
CN113469247B (zh) 网络资产异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant