CN109981358A - 一种基于组合模型的自适应网络性能预警方法 - Google Patents

一种基于组合模型的自适应网络性能预警方法 Download PDF

Info

Publication number
CN109981358A
CN109981358A CN201910189159.5A CN201910189159A CN109981358A CN 109981358 A CN109981358 A CN 109981358A CN 201910189159 A CN201910189159 A CN 201910189159A CN 109981358 A CN109981358 A CN 109981358A
Authority
CN
China
Prior art keywords
network
flow
early warning
markov
gru
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910189159.5A
Other languages
English (en)
Inventor
张晗睿
李千目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910189159.5A priority Critical patent/CN109981358A/zh
Publication of CN109981358A publication Critical patent/CN109981358A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于组合模型的自适应网络性能预警方法。该方法为:首先使用灰色Verhulst‑马尔科夫‑GRU模型进行网络短时流量预测:使用灰色Verhulst‑马尔科夫模型进行网络短时流量预测;将灰色Verhulst‑马尔科夫模型的预测结果和实际流量的误差组成一个新的时间序列;将误差的时间序列放入GRU中进行训练;将灰色Verhulst‑马尔科夫模型的结果和GRU神经网络的结果相加,获得最终流量预测值;然后计算实际流量与预测流量的调整偏离度,设定阈值,最后对比流量预测值和阈值上下限的大小,产生三级报警。本发明能够有效地发现网络中的异常,提高了网络性能预警的准确率。

Description

一种基于组合模型的自适应网络性能预警方法
技术领域
本发明涉及网络安全领域,特别是一种基于组合模型的自适应网络性能预警方法。
背景技术
网络性能预警是网络监控的重要组成部分,通过提前预测网络短时流量,根据实际流量和设定的阈值产生不同程度的预警,能够预防网络异常的出现并预先做好相应的准备,保证网络服务质量。其中,阈值的设定显得尤为重要。动态的设定阈值,基础在于设定阈值和基线。基线指的是正常网络流量的预设值,阈值则是用于区分异常流量和正常流量的界限。当实际采集的网络流量值处于阈值的范围之外,则可以判断流量异常并提出预警、告警。传统的基线设定方法,是根据网管人员的工作经验来判断异常,但随着网络环境越来越复杂,可能影响到网络性能的因素不断增加。
传统的阈值预设方法是静态阈值方法,网管人员预设一个上下范围,当流量值处于这个范围之外时,自动产生预警,但在现代网络环境中,不同时间段的网络使用情况各不相同,不同时间段设定的阈值也应该不断变化,并且当正常用户发送数据流造成流量值产生波动时,可能会将用户的正常网络行为误判为网络异常,并且发出预警。
发明内容
本发明的目的在于提供一种能够有效地发现网络中的异常,提高网络性能预警准确率的网络性能预警方法。
实现本发明目的的技术解决方案为:一种基于组合模型的自适应网络性能预警方法,包括下步骤:
步骤1、使用灰色Verhulst-马尔科夫-GRU模型进行网络短时流量预测;
步骤2、计算实际流量与预测流量的调整偏离度,设定阈值;
步骤3、对比流量预测值和阈值上下限的大小,产生3σ三级报警。
进一步地,步骤1所述的使用灰色Verhulst-马尔科夫-GRU模型进行网络短时流量预测,具体如下:
步骤1.1、使用灰色Verhulst-马尔科夫模型进行网络短时流量预测;
步骤1.2、将灰色Verhulst-马尔科夫模型的预测结果和实际流量的误差组成一个新的时间序列;
步骤1.3、将误差的时间序列放入GRU中进行训练;
步骤1.4、将灰色Verhulst-马尔科夫模型的结果和GRU神经网络的结果相加,获得最终流量预测值。
进一步地,步骤2中所述的计算实际流量与预测流量的调整偏离度,具体如下:
设流量的历史时间序列为x1,x2,...,xt,...xT,T为时刻总数,取正整数n<T,为t时刻灰色马尔科夫-GRU模型预测出的网络流量估计值,基于方差分析法的调整偏离度st计算公式为:
进一步地,步骤3所述的对比流量预测值和阈值上下限的大小,产生3σ三级报警,具体如下:
设定y1,y2,...,yt为采集到的t时刻前的历史数据,st为通过方差分析法计算出的调整偏离度,则有:
当|ft+1-yt+1|≤st+1时,网络处于正常状态,实流量xt和预测值的偏离程度处于允许的范围内;
当st+1<|ft+1-yt+1|≤2st+1时,网络处于轻度预警状态,实流量xt和预测值的偏离程度超标但偏小;
当2st+1<|ft+1-yt+1|≤3st+1时,网络处于普通预警状态,实流量xt和预测值的偏离程度超标且偏大;
当3st+1<|ft+1-yt+1|时,网络处于严重预警状态,实流量xt和预测值的偏离情况严重超标,处于不可控范围。
本发明与现有技术相比,其显著优点为:(1)利用灰色Verhulst-Markov-GRU模型对于网络短时流量进行预测,预测精度高;(2)以灰色Verhulst-Markov-GRU组合模型的预测值为基线,结合调整偏离度,得出更合理的阈值上、下限,能够有效地发现网络中的异常,提高了预警准确率。
附图说明
图1是本发明基于组合模型的自适应网络性能预警方法的流程示意图。
图2是本发明实施例中网络性能预警曲线图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明一种基于组合模型的自适应网络性能预警方法,针对网络流量数据,分别进行流量预测和动态阈值的设定,使用灰色Verhulst-马尔科夫-GRU模型进行预测,计算实际流量与预测流量的调整偏离度设定阈值,最后,通过对比流量预测值和阈值上下限的大小,产生3σ三级报警。
结合图1,一种基于组合模型的自适应网络性能预警方法,包括以下步骤:
步骤1、使用灰色Verhulst-马尔科夫-GRU模型进行网络短时流量预测,具体如下:
步骤1.1、使用灰色Verhulst-马尔科夫模型进行网络短时流量预测;
步骤1.2、将灰色Verhulst-马尔科夫模型的预测结果和实际流量的误差组成一个新的时间序列;
步骤1.3、将误差的时间序列放入GRU中进行训练;
步骤1.4、将灰色Verhulst-马尔科夫模型的结果和GRU神经网络的结果相加,获得最终流量预测值。
步骤2、计算实际流量与预测流量的调整偏离度,设定阈值,具体如下:
设流量的历史时间序列为x1,x2,...,xt,...xT,取正整数n<T,为t时刻灰色马尔科夫-GRU模型预测出的网络流量估计值,基于方差分析法的调整偏离度计算公式为:
步骤3、对比流量预测值和阈值上下限的大小,产生3σ三级报警,具体如下:
网络性能预警,能够在网络发生异常前提前发现,并且产生预警,对于网管人员进行网络性能管理有着很重要的影响。通过灰色Verhulst-Markov-GRU模型对下一时刻网络短时流量进行预测为检验该预测值是否在正常范围内,采用调整偏离度来进行估计,从而得出3σ种不同程度报警信息。
设定y1,y2,...,yt为采集到的t时刻前的历史数据,st为通过方差分析法计算出的调整偏离度,则有:
(1)当|ft+1-yt+1|≤st+1时,网络处于正常状态,实流量xt和预测值的偏离程度处于可允许的范围内。
(2)当st+1<|ft+1-yt+1|≤2st+1时,网络处于轻度预警状态,实流量xt和预测值的偏离程度超标但偏小。
(3)当2st+1<|ft+1-yt+1|≤3st+1时,网络处于普通预警状态,实流量xt和预测值的偏离程度超标且偏大。
(4)当3st+1<|ft+1-yt+1|时,网络处于严重预警状态,真实流量xt和预测值的偏离情况严重超标,处于不可控范围。
实施例1
结合图2,在中兴通讯提供的A省秒级数据集上,进行网络性能预警实验,得到预警曲线,根据3σ三级预警,当网络流量在1σ以内真实网络流量xt和预测值的偏离情况可以接受;当偏离情况处于1σ和2σ之间为产生轻度预警;当偏离情况处于2σ和3σ之间产生普通预警;当偏离情况大于3σ时产生严重预警。
综上可知,实际网络流量的曲线基本上处于1σ曲线以内,超过1σ的部分也处于1σ-2σ区间以内,可见3σ三级预警的预警成功率较高,当流量处于预警区间时,网络流量处于异常状态。

Claims (4)

1.一种基于组合模型的自适应网络性能预警方法,其特征在于,包括下步骤:
步骤1、使用灰色Verhulst-马尔科夫-GRU模型进行网络短时流量预测;
步骤2、计算实际流量与预测流量的调整偏离度,设定阈值;
步骤3、对比流量预测值和阈值上下限的大小,产生3σ三级报警。
2.根据权利要求1所述的基于组合模型的自适应网络性能预警方法,其特征在于,步骤1所述的使用灰色Verhulst-马尔科夫-GRU模型进行网络短时流量预测,具体如下:
步骤1.1、使用灰色Verhulst-马尔科夫模型进行网络短时流量预测;
步骤1.2、将灰色Verhulst-马尔科夫模型的预测结果和实际流量的误差组成一个新的时间序列;
步骤1.3、将误差的时间序列放入GRU中进行训练;
步骤1.4、将灰色Verhulst-马尔科夫模型的结果和GRU神经网络的结果相加,获得最终流量预测值。
3.根据权利要求1所述的基于组合模型的自适应网络性能预警方法,其特征在于,步骤2中所述的计算实际流量与预测流量的调整偏离度,具体如下:
设流量的历史时间序列为x1,x2,...,xt,...xT,T为时刻总数,取正整数n<T,为t时刻灰色马尔科夫-GRU模型预测出的网络流量估计值,基于方差分析法的调整偏离度st计算公式为:
4.根据权利要求1所述的基于组合模型的自适应网络性能预警方法,其特征在于,步骤3所述的对比流量预测值和阈值上下限的大小,产生3σ三级报警,具体如下:
设定y1,y2,...,yt为采集到的t时刻前的历史数据,st为通过方差分析法计算出的调整偏离度,则有:
当|ft+1-yt+1|≤st+1时,网络处于正常状态,实流量xt和预测值的偏离程度处于允许的范围内;
当st+1<|ft+1-yt+1|≤2st+1时,网络处于轻度预警状态,实流量xt和预测值的偏离程度超标但偏小;
当2st+1<|ft+1-yt+1|≤3st+1时,网络处于普通预警状态,实流量xt和预测值的偏离程度超标且偏大;
当3st+1<|ft+1-yt+1|时,网络处于严重预警状态,实流量xt和预测值的偏离情况严重超标,处于不可控范围。
CN201910189159.5A 2019-03-13 2019-03-13 一种基于组合模型的自适应网络性能预警方法 Pending CN109981358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910189159.5A CN109981358A (zh) 2019-03-13 2019-03-13 一种基于组合模型的自适应网络性能预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910189159.5A CN109981358A (zh) 2019-03-13 2019-03-13 一种基于组合模型的自适应网络性能预警方法

Publications (1)

Publication Number Publication Date
CN109981358A true CN109981358A (zh) 2019-07-05

Family

ID=67078773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910189159.5A Pending CN109981358A (zh) 2019-03-13 2019-03-13 一种基于组合模型的自适应网络性能预警方法

Country Status (1)

Country Link
CN (1) CN109981358A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995769A (zh) * 2020-02-27 2020-04-10 上海飞旗网络技术股份有限公司 深度数据包检测方法、装置及可读存储介质
CN115037634A (zh) * 2022-05-30 2022-09-09 中电信数智科技有限公司 一种基于马氏链和贝叶斯网络的k8s网络故障预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413443A (zh) * 2013-07-03 2013-11-27 太原理工大学 基于隐马尔科夫模型的短时交通流状态预测方法
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN105471631A (zh) * 2015-11-17 2016-04-06 重庆大学 基于流量趋势的网络流量预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413443A (zh) * 2013-07-03 2013-11-27 太原理工大学 基于隐马尔科夫模型的短时交通流状态预测方法
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN105471631A (zh) * 2015-11-17 2016-04-06 重庆大学 基于流量趋势的网络流量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜红英: "基于概率论的无线网络性能预警方法", 《通信管理与技术》 *
孙靖超: "基于循环神经网络的网络舆情趋势预测研究", 《情报科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995769A (zh) * 2020-02-27 2020-04-10 上海飞旗网络技术股份有限公司 深度数据包检测方法、装置及可读存储介质
CN115037634A (zh) * 2022-05-30 2022-09-09 中电信数智科技有限公司 一种基于马氏链和贝叶斯网络的k8s网络故障预测方法
CN115037634B (zh) * 2022-05-30 2024-04-16 中电信数智科技有限公司 一种基于马氏链和贝叶斯网络的k8s网络故障预测方法

Similar Documents

Publication Publication Date Title
CN104243184B (zh) 一种告警信息的处理方法及装置
CN101668012B (zh) 安全事件检测方法及装置
CN114137916B (zh) 基于数据分析的电路板生产用监督管控系统
CN108206747A (zh) 告警生成方法和系统
CN109981358A (zh) 一种基于组合模型的自适应网络性能预警方法
CN108809734B (zh) 网络告警根源分析方法、系统、存储介质及计算机设备
CN110083507B (zh) 关键性能指标分类方法及装置
CN108880845A (zh) 一种信息提示的方法以及相关装置
CN105577402A (zh) 基于历史数据的业务异常监控方法及设备
CN106780235A (zh) 一种社会安全事件监测及追溯方法
CN112116123A (zh) 一种基于动态基线的智能告警方法和系统
CN116896481A (zh) 一种基于物联网的网络安全数据风险评估系统
CN112508316B (zh) 实时异常检测系统中的自适应异常判定方法和装置
CN110519266B (zh) 一种基于统计学方法的cc攻击检测的方法
CN107705233A (zh) 体验感知的异常处理系统及其方法
CN116344012B (zh) 一种基于诊疗日志的医疗管理系统
CN108446202A (zh) 一种机房设备的安全状况的判断方法
CN107522052B (zh) 一种电梯异常预警系统和方法
CN110738327B (zh) 一种快充桩设备风险评估方法及系统
CN115858281A (zh) 一种基于物联网的能耗管理系统及方法
CN108256663B (zh) 一种核电运行事故风险实时预测方法
CN114298467A (zh) 用于民航运行管理自动化系统的智能监管系统及方法
US20220092457A1 (en) Electronic device and method for analyzing reliability of facility
CN112131069B (zh) 基于聚类的设备运行监测方法及系统
CN105809257B (zh) 一种基于电力通信网络的触发式状态检修方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705

RJ01 Rejection of invention patent application after publication