CN113271225A - 一种基于带内网络遥测技术的网络可靠性评估方法 - Google Patents

一种基于带内网络遥测技术的网络可靠性评估方法 Download PDF

Info

Publication number
CN113271225A
CN113271225A CN202110540465.6A CN202110540465A CN113271225A CN 113271225 A CN113271225 A CN 113271225A CN 202110540465 A CN202110540465 A CN 202110540465A CN 113271225 A CN113271225 A CN 113271225A
Authority
CN
China
Prior art keywords
network
reliability
data
network reliability
telemetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110540465.6A
Other languages
English (en)
Other versions
CN113271225B (zh
Inventor
王鹏
吴春明
张栋
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110540465.6A priority Critical patent/CN113271225B/zh
Publication of CN113271225A publication Critical patent/CN113271225A/zh
Application granted granted Critical
Publication of CN113271225B publication Critical patent/CN113271225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于带内网络遥测技术的网络可靠性评估方法。本发明设计了带内网络遥测(In‑band Telemetry,INT)数据报文格式,数据平面基于INT技术采集报文转发路径上每个交换机的信息,采集信息上送到SDN控制器的智能分析器模块,智能分析器解析INT数据包得到每个交换机端口的延迟、丢包、拥塞度和利用率;然后提出基于贝叶斯网络的可靠性评估模型,利用最大后验估计得到网络可靠性状态评估值;最后,提出基于LSTM神经网络算法建立可靠性预测模型,预测未来一段时间的网络可靠性状态。本发明的有益效果为提高了网络可靠性检测的准确性,动态实时的评估和预测网络性能可靠性状态,为网络运维及网络流量规划等提供了极大的依据。

Description

一种基于带内网络遥测技术的网络可靠性评估方法
技术领域
本发明属于网络可靠性领域,特别涉及一种基于带内网络遥测技术的网络可靠性评估方法。
背景技术
现有的网络性能可靠性检测方法,只考虑了单一的因素,比如丢包或拥塞等,并不能综合考虑多因素对网络性能可靠性的影响。且对于网络性能指标的数据的采集存在很大的弊端。已存在的数据采集方式主要可以归纳为以下两种方式。第一种是受控主机端进行抓包检测,利用wireshark或者采集器从受控主机采集网络节点信息,再利用相关算法去评估网络状态,调整网络路由。这种方式,利用抓包等采样方式准确率极低,对网络全局的把控极差。第二种方式利用控制器纳管设备,采用周期性拉取网络节点信息,这种方式会导致检测延迟以及网络的开销,同时无法准确的获取网络中实时状态变化,使得评估模型难以获得准确的评价指标数据。
随着网络的复杂性的加重,网络性能可靠性是近几年研究的热点,目前没有一个综合统一的性能可靠性评估模型,评估指标体系也尚不完善。
发明内容
本发明的目的是克服现有技术中的不足,提供一种基于带内网络遥测技术的网络可靠性评估方法。
为实现上述技术目的,本发明采用了以下技术方案:一种基于带内网络遥测技术的网络可靠性评估方法,包括以下步骤:
步骤(1):设计了带内网络遥测数据报文格式,数据平面基于带内网络遥测技术采集传输路径上每个节点的遥测信息;
步骤(2):建立网络可靠性评价模型,即贝叶斯网络模型;所述贝叶斯网络模型输入步骤(1)得到的端口信息,计算得到网络性能可靠度;
步骤(3):建立基于LSTM算法的网络可靠性状态预测模型,利用历史数据不断训练该基于LSTM算法的网络可靠性状态预测模型,预测未来一段时间的网络性能可靠性状态。
进一步地,所述步骤(1)包括以下子步骤:
(1.1)设计了带内网络遥测数据报文格式,通过带内网络遥测技术采集每个节点的信息;
(1.2)在路径最后一个节点,将遥测数据包通过UDP协议封装,发送到SDN控制器的智能分析器;
(1.3)智能分析器通过解封装INT报文得到每个节点的端口信息,包括端口的延迟、丢包、拥塞度和利用。
进一步地,所述步骤(2)包括以下子步骤:
(2.1)建立贝叶斯网络模型;
(2.2)利用贝叶斯网络模型进行网络可靠性计算,得到网络可靠性状态:
进一步地,所述步骤(2.2)具体为:
设置P表示各个节点发生的概率,则P(X1)表示是事件X1当前网络状态下发生的概率。设θ表示随机变量网络性能可靠性,计算依据条件概率公式可得
Figure BDA0003071573290000021
其中P(θ|X)表示在X条件下,网络可靠性状态的概率。转换成贝叶斯估计的数据描述为:
Figure BDA0003071573290000022
π(θ|x)为参数θ的后验分布,后验分布为一个条件分布,θ为待估的分布参数。f(x|θ)为概率密度函数,π(θ)为参数θ的先验分布。m(x)为参数θ的边缘分布。贝叶斯估计表示,在已知θ服从π(θ)的先验分布前提下,根据采集的样本信息去校验先验分布,得到后验分布π(θ|x)。
采用极大似然估计的思想,利用最大后验估计求解θ。
Figure BDA0003071573290000023
求得分布概率最大情况下θ的合理值,即网络可靠性状态。θ值越大代表网络可靠性越高。
进一步地,所述步骤(3)包括以下子步骤:
(3.1)采集基于LSTM算法的网络可靠性状态预测模型的训练数据
(3.2)建立基于LSTM算法的网络可靠性状态预测模型:
(3.3)基于步骤(3.2)建立的基于LSTM算法的网络可靠性状态预测模型,利用训练集输入量Wtrain_x与输出量Wtrain_y对LSTM网络可靠性状态预测模型进行训练。
(3.4)评估LSTM网络可靠性状态预测模型
进一步地,所述步骤(3.1)包括以下子步骤:
(3.1.1)采集历史一段时间内网络可靠性评估指标数据X1,X2,……Xn,得到用于时间序列预测的数据集:H=[ht,ht+1......ht+n],其中,ht=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.2)基于遥测技术采集时间状态序列数据集S
一段时间内的网络可靠性评估模型参数X1,X2,……Xn,同时计算出当时的网络可靠性状态ft,因此得到时间状态序列数据集S:
S=[st,st+1......st+n]
其中st=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.3)将用于时间状态序列数据集S转化成监督学习数据集W=[wt,wt+ 1.....w.t+n],其中wt=[ft,xt,ft+1,xt+1.....f.t+i-1,xt+i-1,ft+i];i代表一段时间的数据量
(3.1.4)分割监督学习数据集W前四分之三为训练数据Wtrain,后四分之一测试数据Wtest
(3.1.5)分离训练数据,得到训练数据的输入量Wtrain_x和输出量Wtrain_y,同理,可以得到测试数据的输入量Wtest_x和输出量Wtest_y
进一步地,所述步骤(3.2)包括以下子步骤:
(3.2.1)基于LSTM算法的网络可靠性预测模型设计为三层:输入层,隐藏层,输出层;所述输入层实现激活信号;所述隐藏层实现特征提取;所述输出层根据隐藏层提取的不同权重加上自身的偏置输出结果。并设置每一层的参数,即神经元的个数。
(3.2.2)选择交叉熵作为损失函数:评估网络可靠性状态预测模型的效果,通过最小化损失函数,使网络可靠性状态预测模型达到收敛状态,对应的模型参数即为最优参数,减少模型预测值的误差;
(3.2.3)选择Adam算法作为梯度下降优化器;用梯度下降优化器对步骤(3.2.2)中损失函数求极值。
进一步地,所述步骤(3.4)包括以下子步骤:
(3.4.1)利用步骤(3.3)得到的LSTM可靠性状态预测模型,对测试集Wtest_x进行预测得到预测的输出量Wtest-predict_y
(3.4.2)通过计算交叉熵损失函数,得到测试集输出量实际值与预测输出量实际值的差异,作为LSTM网络可靠性状态的评估指标;
(3.4.3)调整LSTM网络可靠性状态预测模型中的神经元数量参数,并重复步骤(3.3)、步骤(3.4),得到不同的LSTM网络可靠性状态预测模型的评估指标;
(3.4.4)选择最好的评估指标,即损失函数最小的模型作为最终用于预测网络可靠性评估指标的模型。
本发明的有益效果是:本发明设计了带内网络遥测数据包的报文格式,基于带内网络遥测技术进行数据平面节点信息的采集,数据包路径中最后一个节点通过主动推送的方式上送到控制器的智能分析器,从而控制器可以实时的掌握数据平面的网络状态,减小了网络状态上报的延迟,减小数据采集的误差,提高了采集信息的实时性,提高网络可靠性检测的准确性;本发明通过网络遥测得到节点的端口信息,结合提出的基于贝叶斯网络的可靠性评估模型,利用最大后验估计得到当前网络的可靠性,该评估模型提高了网络可靠性评估的准确性;本发明提出了基于LSTM神经网络算法的网络可靠性预测模型,通过该方法可以更加准确的预估未来一段时间内的网络状态。本发明提出的基于带内网络遥测的网络可靠性评估和预测方法,对网络的管理、运维和网络流量规划等带来极大的便利。
附图说明
图1是基于带内网络遥测的网络可靠性评估方法的整体流程图;
图2是带内网络遥测数据采集遥测信息的原理图;
图3是可靠性贝叶斯网络的示意图;
图4是网络可靠性预测模型的整体流程图。
具体实施方式
如图1所示,本发明基于带内网络遥测技术的网络可靠性评估方法,具体为以下步骤:1、设计了带内网络遥测数据报文格式,数据平面基于带内网络遥测技术采集传输路径上每个节点的遥测信息;
(1.1)设计了带内网络遥测数据报文格式,通过带内网络遥测技术采集每个节点的信息;
本发明中所有网络交换机都是支持带内网络遥测技术的交换机。通过带内网络遥测技术监测报文转发路径上每个交换机节点的遥测信息。所述遥测信息包括每台设备的交换机编号、数据包入端口号、数据包出端口号、链路利用率、收发数据包数、丢弃数据包数、数据包入端口时间戳、数据包出端口时间戳、拥塞状态、队列长度等。
本发明中,设计了INT报文的具体数据格式。INT报文包括INTHeader和MetaData两部分。其中INTHeader报文格式设计如下表1所示:
表1 INTHeader报文格式表
Figure BDA0003071573290000051
INT报文固有头部格式如上表所示。其中收集的数据选项字段有16位,对应8个数据选项,每2位表示一个数据选项。8个数据选项分别为:设备ID,入端口号,出端口号,转发延迟,端口延迟,端口丢包,拥塞标志,出端口利用率。每2位表示一个数据选项。每两位当取00时,表示不采集该数据,当取01时,表示收集该数据。
INT检测信息MetaData的格式如下表2所示:
表2 MetaData的格式表
Figure BDA0003071573290000052
带内网络遥测数据采集遥测信息的原理图如图2所示。
(1.1.1)首节点:普通数据报文到达带内网络遥测系统的首节点时,带内网络遥测模块通过在交换机上设置的采样方式匹配并镜像出该报文,根据遥测任务的需要在四层头部后插入INT头部,将INT头部所指定的遥测信息封装成元数据(MetaData)插入到INT头部之后
(1.1.2)中间节点:报文转发到中间节点时,设备匹配INT头部后插入MetaData
(1.1.3)尾节点:报文转发到路径的最后一跳交换机时,交换设备匹配INT头部插入最后一个MetaData,并提取全部遥测信息并转发到智能分析器
(1.2)在路径的最后一个节点,将遥测信息进行UDP协议封装,发送到SDN控制器的智能分析器
在报文路径的最后一跳交换机上,对遥测数据进行UDP头及IP头封装,发送给智能分析器。
(1.3)智能分析器通过解封装INT报文得到每个节点的端口信息,包括端口的延迟、丢包、拥塞度和利用。
最终在智能分析器上通过解封装INT报文,对监测的遥测数据进行分析,得到每个节点的端口信息,即每个交换机端口的延迟、丢包、拥塞度和利用率,作为可靠性评价模型的原始样本数据;
2、建立数据可靠性评价模型,即贝叶斯网络模型,所述贝叶斯网络模型输入步骤(1)得到的端口信息,计算得到网络性能可靠度;
(2.1)建立贝叶斯网络模型
如图3所示为建立网络评估模型贝叶斯网络,为一个有向无循环模型。Y表示整个网络。图中Yi表示第i个交换机,Yij表示第i个交换机j号端口,XLij表示第i个交换机j号端口丢包事件(当丢包数大于0时表示发生丢包事件),XDij表示第i个交换机j号端口数据包延迟事件(当出端口时间减去入端口时间的差值超过用户定义的阈值时表示发生延迟事件),XCij表示第i个交换机j号端口数据包拥塞事件(当队列长度超过用户定义的阈值时表示发生拥塞事件),XUij表示第i个交换机j号端口链路利用率过低事件(当链路利用率低于用户定义的阈值时表示发生利用率过低事件)。
(2.2)利用贝叶斯网络模型进行网络可靠性计算,得到网络可靠性状态
贝叶斯网络模型是一个信度网络计算模型,是基于概率论和图论相结合评估模型,本发明提供的网络可靠性模型依据贝叶斯网络模型进行设计。简化图3,优化模型把XLij、XDij、Xcij、XUij(i∈{1,k},k为网络节点个数)表示为总体X,X包含(X1、X2、……Xn)(n表示总共的参数指标个数)。设置表示各个节点发生的概率,则P(X1)表示是事件X1当前网络状态下发生的概率。设θ表示随机变量网络性能可靠性,计算依据条件概率公式可得
Figure BDA0003071573290000061
其中P(θ|X)表示在X条件下,网络状态的可靠性。转换成贝叶斯估计的数据描述为:
Figure BDA0003071573290000071
π(θ|x)为参数θ的后验分布,后验分布为一个条件分布,θ为待估的分布参数。f(x|θ)为概率密度函数,π(θ)为参数θ的先验分布。m(x)为边缘分布。贝叶斯估计表示,在已知θ服从π(θ)的先验分布前提下,根据采集的样本信息去校验先验分布,得到后验分布π(θ|x)。
采用极大似然估计的思想,利用最大后验估计求解θ。
Figure BDA0003071573290000072
由于m(x)与θ无关,因此可以简化计算。求得分布概率最大情况下θ的合理值,即网络可靠性状态。θ值越大代表网络可靠性越高。
3.建立基于LSTM算法的网络可靠性状态预测模型,利用历史数据不断训练基于LSTM算法的网络可靠性状态预测模型,预测未来一段时间的网络性能可靠性状态。
如图4所示,所述网络可靠性预测模型的整体流程,具体步骤如下:
(3.1)采集基于LSTM算法的网络可靠性状态预测模型的训练数据
(3.1.1)采集历史一段时间内网络可靠性评估指标数据X1,X2,……Xn,得到用于时间序列预测的数据集:H=[ht,ht+1......ht+n],其中,ht=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.2)基于遥测技术采集时间状态序列数据集S
一段时间内的网络可靠性评估模型参数X1,X2,……Xn,同时计算出当时的网络可靠性状态ft,因此得到时间状态序列数据集S:
S=[st,st+1......st+n]
其中st=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.3)将用于时间状态序列数据集S转化成监督学习数据集W=[wt,wt+ 1.....w.t+n],其中wt=[ft,xt,ft+1,xt+1.....f.t+i-1,xt+i-1,ft+i];i代表一段时间的数据量
(3.1.4)分割监督学习数据集W前四分之三为训练数据Wtrain,后四分之一测试数据Wtest
(3.1.5)分离训练数据,得到训练数据的输入量Wtrain_x和输出量Wtrain_y,同理,可以得到测试数据的输入量Wtest_x和输出量Wtest_y
(3.2)建立基于LSTM算法的网络可靠性状态预测模型:
(3.2.1)基于LSTM算法的网络可靠性预测模型设计为三层:输入层,隐藏层,输出层。其中第一层为输入层,负责激活信号。第二层为隐藏层,在隐藏层中主要实现特征提取。第三层为输出层,根据隐藏层提取的不同权重加上自身的偏置输出结果。并设置每一层的参数,即神经元的个数。
(3.2.2)选择交叉熵作为损失函数
网络可靠性状态预测模型的效果可以通过损失函数来评定。损失函数可以衡量实际输出与预计输出之间的差异。为了评估网络可靠性状态预测模型拟合的好坏,本发明选择交叉熵作为损失函数。通过最小化损失函数,使网络可靠性状态预测模型达到收敛状态,对应的模型参数即为最优参数,减少模型预测值的误差。
(3.2.3)选择Adam算法作为梯度下降优化器;
对步骤(3.2.2)中损失函数求极值时需要用到梯度下降优化器,本发明选择使用Adam算法作为梯度下降优化器,Adam是一种自适应学习率算法,能够在训练中自动的对学习率进行调整。对于出现频率较低参数采用较大的学习率,对于出现频率较高的参数采用较小的学习率更新。
(3.3)基于步骤(3.2)建立的基于LSTM算法的网络可靠性状态预测模型,利用训练集输入量Wtrain_x与输出量Wtrain_y对LSTM网络可靠性状态预测模型进行训练。
(3.4)评估LSTM网络可靠性状态预测模型
(3.4.1)利用步骤(3.3)得到的LSTM可靠性状态预测模型,对测试集Wtest_x进行预测得到预测的输出量Wtest-predict_y
(3.4.2)通过计算交叉熵损失函数,得到测试集输出量实际值与预测输出量实际值的差异,作为LSTM网络可靠性状态的评估指标。
(3.4.3)调整LSTM网络可靠性状态预测模型中的神经元数量参数,并重复步骤(3.3)、步骤(3.4),得到不同的LSTM网络可靠性状态预测模型的评估指标。
(3.4.4)选择最好的评估指标,即损失函数最小的模型作为最终用于预测网络可靠性评估指标的模型。

Claims (8)

1.一种基于带内网络遥测技术的网络可靠性评估方法,其特征在于,包括以下步骤:
步骤(1):设计了带内网络遥测数据报文格式,数据平面基于带内网络遥测技术采集传输路径上每个节点的遥测信息;
步骤(2):建立网络可靠性评价模型,即贝叶斯网络模型;所述贝叶斯网络模型输入步骤(1)得到的端口信息,计算得到网络性能可靠度;
步骤(3):建立基于LSTM算法的网络可靠性状态预测模型,利用历史数据不断训练该基于LSTM算法的网络可靠性状态预测模型,预测未来一段时间的网络性能可靠性状态。
2.根据权利要求1所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(1)包括以下子步骤:
(1.1)设计了带内网络遥测数据报文格式,通过带内网络遥测技术采集每个节点的信息;
(1.2)在路径最后一个节点,将遥测数据包通过UDP协议封装,发送到SDN控制器的智能分析器;
(1.3)智能分析器通过解封装INT报文得到每个节点的端口信息,包括端口的延迟、丢包、拥塞度和利用。
3.根据权利要求1所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(2)包括以下子步骤:
(2.1)建立贝叶斯网络模型;
(2.2)利用贝叶斯网络模型进行网络可靠性计算,得到网络可靠性状态:
4.根据权利要求3所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(2.2)具体为:
设置P表示各个节点发生的概率,则P(X1)表示是事件X1当前网络状态下发生的概率。设θ表示随机变量网络性能可靠性,计算依据条件概率公式可得
Figure FDA0003071573280000011
其中P(θ|X)表示在X条件下,网络可靠性状态的概率。转换成贝叶斯估计的数据描述为:
Figure FDA0003071573280000012
π(θ|x)为参数θ的后验分布,后验分布为一个条件分布,θ为待估的分布参数。f(x|θ)为随机变量E的概率密度函数,π(θ)为参数θ的先验分布。m(x)为参数θ的边缘分布。贝叶斯估计表示,在已知θ服从π(θ)的先验分布前提下,根据采集的样本信息去校验先验分布,得到后验分布π(θ|x)。
采用极大似然估计的思想,利用最大后验估计求解θ。
Figure FDA0003071573280000021
求得分布概率最大情况下θ的合理值,即网络可靠性状态。θ值越大代表网络可靠性越高。
5.根据权利要求1所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(3)包括以下子步骤:
(3.1)采集基于LSTM算法的网络可靠性状态预测模型的训练数据
(3.2)建立基于LSTM算法的网络可靠性状态预测模型:
(3.3)基于步骤(3.2)建立的基于LSTM算法的网络可靠性状态预测模型,利用训练集输入量Wtrain_x与输出量Wtrain_y对LSTM网络可靠性状态预测模型进行训练。
(3.4)评估LSTM网络可靠性状态预测模型
6.根据权利要求5所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(3.1)包括以下子步骤:
(3.1.1)采集历史一段时间内网络可靠性评估指标数据X1,X2,……Xn,得到用于时间序列预测的数据集:H=[ht,ht+1......ht+n],其中,ht=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.2)基于遥测技术采集时间状态序列数据集S
一段时间内的网络可靠性评估模型参数X1,X2,……Xn,同时计算出当时的网络可靠性状态ft,因此得到时间状态序列数据集S:
S=[st,st+1......st+n]
其中st=[ft,Xt],ft代表t时间点的网络可靠性状态,xt代表t时间点采集指标数据X1,X2,……Xn
(3.1.3)将用于时间状态序列数据集S转化成监督学习数据集W=[wt,wt+1.....w.t+n],其中wt=[ft,xt,ft+1,xt+1.....f.t+i-1,xt+i-1,ft+i];i代表一段时间的数据量
(3.1.4)分割监督学习数据集W前四分之三为训练数据Wtrain,后四分之一测试数据Wtest
(3.1.5)分离训练数据,得到训练数据的输入量Wtrain_x和输出量Wtrain_y,同理,可以得到测试数据的输入量Wtest_x和输出量Wtest_y
7.根据权利要求3所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(3.2)包括以下子步骤:
(3.2.1)基于LSTM算法的网络可靠性预测模型设计为三层:输入层,隐藏层,输出层;所述输入层实现激活信号;所述隐藏层实现特征提取;所述输出层根据隐藏层提取的不同权重加上自身的偏置输出结果。并设置每一层的参数,即神经元的个数。
(3.2.2)选择交叉熵作为损失函数:评估网络可靠性状态预测模型的效果,通过最小化损失函数,使网络可靠性状态预测模型达到收敛状态,对应的模型参数即为最优参数,减少模型预测值的误差;
(3.2.3)选择Adam算法作为梯度下降优化器;用梯度下降优化器对步骤(3.2.2)中损失函数求极值。
8.根据权利要求3所述的基于带内网络遥测技术的网络可靠性评估方法,其特征在于,所述步骤(3.4)包括以下子步骤:
(3.4.1)利用步骤(3.3)得到的LSTM可靠性状态预测模型,对测试集Wtest_x进行预测得到预测的输出量Wtest-predict_y
(3.4.2)通过计算交叉熵损失函数,得到测试集输出量实际值与预测输出量实际值的差异,作为LSTM网络可靠性状态的评估指标;
(3.4.3)调整LSTM网络可靠性状态预测模型中的神经元数量参数,并重复步骤(3.3)、步骤(3.4),得到不同的LSTM网络可靠性状态预测模型的评估指标;
(3.4.4)选择最好的评估指标,即损失函数最小的模型作为最终用于预测网络可靠性评估指标的模型。
CN202110540465.6A 2021-05-18 2021-05-18 一种基于带内网络遥测技术的网络可靠性评估方法 Active CN113271225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110540465.6A CN113271225B (zh) 2021-05-18 2021-05-18 一种基于带内网络遥测技术的网络可靠性评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110540465.6A CN113271225B (zh) 2021-05-18 2021-05-18 一种基于带内网络遥测技术的网络可靠性评估方法

Publications (2)

Publication Number Publication Date
CN113271225A true CN113271225A (zh) 2021-08-17
CN113271225B CN113271225B (zh) 2022-03-11

Family

ID=77231771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110540465.6A Active CN113271225B (zh) 2021-05-18 2021-05-18 一种基于带内网络遥测技术的网络可靠性评估方法

Country Status (1)

Country Link
CN (1) CN113271225B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938407A (zh) * 2021-09-02 2022-01-14 北京邮电大学 基于带内网络遥测系统的数据中心网络的故障检测方法及装置
CN114338419A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种IPv6全球组网边缘节点监测及预警方法及系统
CN114567575A (zh) * 2022-04-29 2022-05-31 南京邮电大学 基于int的丢包检测方法
CN114866431A (zh) * 2022-04-28 2022-08-05 深圳智芯微电子科技有限公司 基于int预测sfc网络故障的方法、装置及处理器
CN115442282A (zh) * 2022-08-31 2022-12-06 深圳市风云实业有限公司 一种数据采集系统及方法
WO2023124034A1 (zh) * 2021-12-31 2023-07-06 南京邮电大学 基于int的异常流量检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688604A (zh) * 2018-12-06 2019-04-26 北京航空航天大学 一种基于贝叶斯网络的高动态移动自组织网络抗毁性评估方法
CN110826237A (zh) * 2019-11-11 2020-02-21 云南电网有限责任公司电力科学研究院 基于贝叶斯信念网络的风电设备可靠性分析方法及装置
CN111526096A (zh) * 2020-03-13 2020-08-11 北京交通大学 智融标识网络状态预测与拥塞控制系统
US20200267059A1 (en) * 2018-11-05 2020-08-20 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing network elements of an in-band network telemetry capable network
US20200351173A1 (en) * 2019-05-03 2020-11-05 Cisco Technology, Inc. Machine learning driven data collection of high-frequency network telemetry for failure prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200267059A1 (en) * 2018-11-05 2020-08-20 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing network elements of an in-band network telemetry capable network
CN109688604A (zh) * 2018-12-06 2019-04-26 北京航空航天大学 一种基于贝叶斯网络的高动态移动自组织网络抗毁性评估方法
US20200351173A1 (en) * 2019-05-03 2020-11-05 Cisco Technology, Inc. Machine learning driven data collection of high-frequency network telemetry for failure prediction
CN110826237A (zh) * 2019-11-11 2020-02-21 云南电网有限责任公司电力科学研究院 基于贝叶斯信念网络的风电设备可靠性分析方法及装置
CN111526096A (zh) * 2020-03-13 2020-08-11 北京交通大学 智融标识网络状态预测与拥塞控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNFU CHEN 等: ""Imbalanced satellite telemetry data anomaly detection model based on Bayesian LSTM"", 《ACTA ASTRONAUTICA》 *
YU FEN 等: ""A New Framework for Network Flow Queuing Delay Prediction Based on Stream Computing"", 《2019 IEEE 5TH INTL CONFERENCE ON BIG DATA SECURITY ON CLOUD (BIGDATASECURITY), IEEE INTL CONFERENCE ON HIGH PERFORMANCE AND SMART COMPUTING, (HPSC) AND IEEE INTL CONFERENCE ON INTELLIGENT DATA AND SECURITY (IDS)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938407A (zh) * 2021-09-02 2022-01-14 北京邮电大学 基于带内网络遥测系统的数据中心网络的故障检测方法及装置
CN113938407B (zh) * 2021-09-02 2023-06-20 北京邮电大学 基于带内网络遥测系统的数据中心网络的故障检测方法及装置
CN114338419A (zh) * 2021-12-15 2022-04-12 中电信数智科技有限公司 一种IPv6全球组网边缘节点监测及预警方法及系统
CN114338419B (zh) * 2021-12-15 2024-04-16 中电信数智科技有限公司 一种IPv6全球组网边缘节点监测及预警方法及系统
WO2023124034A1 (zh) * 2021-12-31 2023-07-06 南京邮电大学 基于int的异常流量检测方法和装置
CN114866431A (zh) * 2022-04-28 2022-08-05 深圳智芯微电子科技有限公司 基于int预测sfc网络故障的方法、装置及处理器
CN114866431B (zh) * 2022-04-28 2024-08-06 深圳智芯微电子科技有限公司 基于int预测sfc网络故障的方法、装置及处理器
CN114567575A (zh) * 2022-04-29 2022-05-31 南京邮电大学 基于int的丢包检测方法
CN114567575B (zh) * 2022-04-29 2022-07-22 南京邮电大学 基于int的丢包检测方法
CN115442282A (zh) * 2022-08-31 2022-12-06 深圳市风云实业有限公司 一种数据采集系统及方法
CN115442282B (zh) * 2022-08-31 2023-08-29 深圳市风云实业有限公司 一种数据采集系统及方法

Also Published As

Publication number Publication date
CN113271225B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113271225B (zh) 一种基于带内网络遥测技术的网络可靠性评估方法
CN109981691B (zh) 一种面向SDN控制器的实时DDoS攻击检测系统与方法
CN107483251B (zh) 一种基于分布式探针监测的网络业务异常侦测方法
CN106612289A (zh) 一种基于sdn的网络协同异常检测方法
WO2020077672A1 (zh) 一种服务质量评估模型的训练方法及装置
CN106789297A (zh) 基于神经网络的网络流量预测系统及其流量预测方法
CN113408087B (zh) 一种基于云边系统和视频智能分析的变电站巡视方法
CN102592171A (zh) 基于bp神经网络的认知网络性能预测方法及装置
CN111756600B (zh) 一种实现多种交换机测试机的多通信系统及方法
CN109194498A (zh) 一种基于lstm的网络流量预测方法
CN116684878B (zh) 一种5g信息传输数据安全监测系统
Wang et al. Optimizing quality-of-information in cost-sensitive sensor data fusion
CN116743635A (zh) 一种网络预测与调控方法及网络调控系统
Sarao Machine learning and deep learning techniques on wireless networks
CN110621003B (zh) 一种电气设备故障诊断装置
Huang et al. Machine learning for broad-sensed internet congestion control and avoidance: A comprehensive survey
Nougnanke et al. Low-overhead near-real-time flow statistics collection in SDN
CN111414957A (zh) 一种基于PCA算法和XGBoost算法的D-PMU扰动分类方法
Taleb et al. Hybrid machine learning classification and inference of stalling events in mobile videos
CN117294022B (zh) 基于多源传感器协同的变电站巡检系统及方法
CN106789429B (zh) 一种自适应低代价sdn网络链路利用率测量方法及系统
CN116094758B (zh) 一种大规模网络流量采集方法及系统
CN115987643A (zh) 一种基于lstm和sdn的工控网络入侵检测方法
CN114760194A (zh) 一种物联网设备的故障研判方法
CN114648157A (zh) 一种基于k最近邻分类的光伏功率预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant