CN107483251B - 一种基于分布式探针监测的网络业务异常侦测方法 - Google Patents

一种基于分布式探针监测的网络业务异常侦测方法 Download PDF

Info

Publication number
CN107483251B
CN107483251B CN201710721647.7A CN201710721647A CN107483251B CN 107483251 B CN107483251 B CN 107483251B CN 201710721647 A CN201710721647 A CN 201710721647A CN 107483251 B CN107483251 B CN 107483251B
Authority
CN
China
Prior art keywords
network
matrix
flow
traffic
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710721647.7A
Other languages
English (en)
Other versions
CN107483251A (zh
Inventor
夏菲
孟凡博
刘清凡
王鹏
焦明程
杨恒
郭士滢
陈国顺
王艺儒
邸卓
高潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Liaoning Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Liaoning Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710721647.7A priority Critical patent/CN107483251B/zh
Publication of CN107483251A publication Critical patent/CN107483251A/zh
Application granted granted Critical
Publication of CN107483251B publication Critical patent/CN107483251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于分布式探针监测的网络业务异常侦测方法,包括如下步骤:步骤一:设计一种贝叶斯网络架构,并利用所述贝叶斯网络架构估计流量矩阵;步骤二:利用流量矩阵进行网络异常检测,其中,步骤一包括:设计一种贝叶斯网络架构;计算网络参数的极大后验概率的估计值;生成流量矩阵的初始估计值;估计流量矩阵;步骤二包括:通过一组网络业务流量训练数据使贝叶斯网络学习;随机生成一个流量矩阵作为网络议程诊断的预测因子,将网络探针分布式部署到不同的网络节点,利用预测因子进行网络异常检测。该基于分布式探针监测的网络业务异常侦测方法通过分布式侦测方式,能有效的侦测和发现网络中的网络业务流异常,从而有助实现安全的网络业务传输。

Description

一种基于分布式探针监测的网络业务异常侦测方法
技术领域
本发明属于云计算技术领域,特别是涉及一种基于分布式探针监测的网络业务异常侦测方法。
背景技术
信息和通信技术的发展极大地改变了人类生活和生产方式,智能电网、办公自动化等基于Internet技术的业务已经进入人们生活当中。此外,智慧城市、大数据等先进信息理念和技术的提出,对未来人类社会的发展起到了积极的推动作用。Internet的发展使得网络规模急剧增大,网络承载业务类型呈多样化发展,特别是云计算、物联网的兴起使得网络已经成为一个复杂的异构网络。网络的发展在给我们提供更多服务和应用的同时,也带来了一系列网络安全问题。为了防止网络拥塞和抵御DDoS(Distributed Denial ofService)等网络攻击,以此为用户提供有保障的服务质量,有效的网络管理成为维持网络正常运行的关键环节。因此,需要一种智能的网络业务异常侦测方法,以保证用户的满意度。
网络管理者在执行网络管理决策时,需要了解网络运行状态,例如时延、丢包率、吞吐量、带宽和网络流量等等。网络测量技术为网络管理者获取实时网络状态提供了必要的解决方案和技术支持。为了有效地实施网络规划、负载均衡机制、IGP(Interior GatewayProtocol)链路权重设置算法、网络故障诊断和异常检测等网络管理操作,网络管理者需要了解网络中各节点间端到端的数据包转发情况。流量矩阵描述了网络中源-目的 (Origin-Destination,OD)节点间的网络流量动态变化情况,是网络管理的重要依据和输入参数。
流量矩阵是很多网络管理功能的重要参考依据。但是,在当前网络结构下,流量矩阵估计本质上是具有高度病态特性的反问题。因此,如何克服流量矩阵估计的病态特性对于获取准确的流量矩阵具有重要的理论和现实意义。
当前,已经有一些关于网络业务异常侦测方法的研究成果。早期的研究主要集中于统计模型方法,这一类方法将网络流量建模为服从特定分布的随机变量,以此达到对网络层析成像问题进行降维的目的。典型的统计模型方法包括Poisson模型、Gaussian模型、Markov模型和ARIMA模型等等。
然而,网络业务类型不断的增多,以及网络规模日趋庞大,使得网络流量的统计特性愈加复杂,因此简单的统计模型很难完整刻画当前网络流量的统计特性。
发明内容
针对现有技术存在的缺点,为了能可靠和准确地估计流量矩阵,并且能够通过估算出的流量矩阵来进行网络诊断,本发明提出了一种基于分布式探针监测的网络业务异常侦测方法。
本发明提供了一种基于分布式探针监测的网络业务异常侦测方法,包括以下步骤:
步骤1:利用贝叶斯网络估计流量矩阵;
设计一种贝叶斯网络架构,通过有向无环的贝叶斯网络节点间的因果关系和强度,刻画网络流量的多分形特性,对于贝叶斯网络参数,利用流量矩阵先验测量值计算网络参数的极大后验概率估计值,结合贝叶斯网络架构和参数,生成流量矩阵的初始估计值,最后,运用正则化优化模型求解流量矩阵;
步骤2:利用流量矩阵进行网络异常检测;
贝叶斯模型被用来进行异常诊断,对于异常诊断,通过一组网络业务流量训练数据来使贝叶斯网络学习,根据训练数据集间的联合概率分布,随机生成一个流量矩阵作为网络议程诊断的预测因子;将网络探针分布式部署到不同的网络节点,利用预测因子进行网络异常检测。
优选,本发明一种基于分布式探针监测的网络业务异常侦测方法还包括:
步骤3:利用两个骨干网Abilene和
Figure BDA0001385015320000033
的真实数据仿真分析该基于分布式探针监测的网络业务异常侦测方法的有效性和算法的整体性能。
其中,步骤1具体包括如下步骤:
步骤11:构建一个有向无环图;
步骤12:根据已测得的流量矩阵、有向无环图计算
Figure BDA0001385015320000031
步骤13:根据步骤12获得的参数估计值
Figure BDA0001385015320000032
随机生成流量矩阵初始估计值;
步骤14:根据正则化优化模型计算最终的流量矩阵估计值。
进一步优选,步骤11:构建一个有向无环图的方法如下:
贝叶斯网络是一个概率图模型,它由一个有向无环图和一组随机变量 (X(q),其中q=1,2,.Q.,,而Q表示节点数目)及其条件概率分布 (Θ=(θn,1n,2,...,θn,Q))构成,从而贝叶斯网络可由一个二元组表示,即 B=(G,Θ),其中G=(V,E)为一个有向无环图,V和E分别为节点集和有向边集;Θ是向量,表示所有节点的条件概率分布,有向无环图中的有向边描述了节点之间的因果联系,概率分布则描述了节点之间的影响强度,假设节点数为Q=|V|,则贝叶斯网络定义了随机变量X(q),以及联合概率密度函数:
Figure BDA0001385015320000041
其中,πX(q)表示图G中节点X(q)的父节点;
设计一种有向无环图架构建模端到端网络流量的因果关系,构建的贝叶斯网络架构的节点数量为Q=CT′,其中C和T′均为常数,节点首先依次相连形成链式结构,有向无环图中所有的节点集可以分为C个子集,每个子集包含T′个节点,并且第c个子集中的第t′个节点分别与第c+1、c+2、…、 C子集中的第t′个节点相连。
进一步优选,步骤12:根据已测得的流量矩阵、有向无环图计算的方法如下:
首先,假设流量矩阵X描述了网络中N2条OD(Origin-Destination)流 Q个时刻的流量变化情况,则第n条OD流可表示为 X(n,*)=(X(n,1),X(n,2),...,X(n,Q)),每个元素表示为X(n,q)(q=1,2,...,Q),将X(n,*)中的每一个元素依次对应于有向无环图中的节点1至Q,同时,假设X(n,q)有Kn,q个取值,且其父节点数量为Jn,q,此时,定义一个参数θn,q,j,k=p(X(n,q)=k|πX(n,q)=j)表示第n条OD流的第q个元素在给定父节点j 的条件下取值为k的概率,其中k=1,2,...,Kn,q,且j=1,2,...,Jn,q,对于向量
Figure BDA0001385015320000052
则获得联合概率密度函数为
Figure BDA0001385015320000053
其中,向量Θ=(θn,1n,2,...,θn,Q),ξ表示正态分布N(ξ,σ2(ξ))的均值,且 p(θn,q,j|ξ)=N(ξ,σ2(ξ)),其中σ2(·)表示期望和方差之间已知的关联性,
然后,假设所有变量θn,q,j(其中q=1,2,...,Q,J=1,2,...,Jq)满足独立同分布,则其后验概率密度函数为
Figure BDA0001385015320000054
第三,对于完整的数据集X(n,*),则有
最后,通过极大后验概率方法,可计算得到参数Θ:
Figure BDA0001385015320000056
进一步优选,步骤13:根据步骤12获得的参数估计值
Figure BDA0001385015320000057
随机生成流量矩阵初始估计值的方法如下:
根据公式(5)获得参数Θ的估计值后,则由公式(2)可获得第n条 OD流的联合概率分布p(X(n,*)|Θ,ξ),类似地,通过N2-1次的重复计算就能够得到整个网络N2条OD流的联合概率分布,从而由以上联合概率分布生成流量矩阵的初始估计值X0
进一步优选,步骤14:根据正则化优化模型计算最终的流量矩阵估计值的方法如下:
由以下正则化优化模型估计流量矩阵:
其中,流量矩阵X满足约束条件Y=RX(其中R表示路由矩阵,Y表示链路负载),a为所有OD流方差的平均值,
Figure BDA0001385015320000062
表示流量矩阵X的估计值,
Figure BDA0001385015320000063
表示在R和Y已知情况下由流量矩阵R计算的链路估计值
Figure BDA0001385015320000064
与链路负载Y的偏差。
进一步优选,步骤2具体包括如下步骤:
步骤21:通过一组网络流量数据作为训练数据,根据公式(3)获得每条OD流的估计参数
Figure BDA0001385015320000065
然后根据公式(2)计算所有OD流在不同时刻的联合概率密度函数,从而获得其联合概率分布,通过以上方式,用贝叶斯网络对训练数据进行学习,获得关于网络流量的内在特征和属性;
步骤22:利用联合概率密度函数,生成网络流量矩阵的估计值
Figure BDA0001385015320000066
步骤23:将网络探针分布式部署到不同的网络节点,对于第n条OD 流,通过网络探针获得其测量值Xp,并通过公式(7)计算其与估计值
Figure BDA0001385015320000067
的偏差为:
Figure BDA0001385015320000068
步骤24:根据置信区间(μpre-3σprepre+3σpre),判断网络流量偏差errp的范围,从而判断网络流量是否发生异常变化,其中,μpre和σpre分别表示偏差的均值和方差。
本发明的有益效果:
基于贝叶斯网络的流量矩阵估计方法和其他估计方法相比具有较小的估计偏差和较大的采样标准差,因此基于贝叶斯网络的流量矩阵估计方法适合刻画端到端网络流量的长相关特性,进而该异常侦测方法能有效的侦测和发现网络中的网络业务流异常,有助实现安全的网络业务传输。
附图说明
图1为本发明的主程序流程图;
图2为贝叶斯网络架构;
图3为Abilene网络流量的真实值与估计值对比;
图4为
Figure BDA0001385015320000071
网络流量的真实值与估计值对比;
图5为Abilene网络流量的估计偏差;
图6为Abilene网络流量的估计偏差与采样标准差;
图7为
Figure BDA0001385015320000072
网络流量的估计偏差;
图8为
Figure BDA0001385015320000073
网络流量的估计偏差与采样标准差;
图9为Abilene网络算法性能改进率;
图10为
Figure BDA0001385015320000074
网络算法性能改进率;
图11为正常的流量数据和异常数据;
图12为异常检测。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步地详细说明。
本发明提供了一种基于分布式探针监测的网络业务异常侦测方法,包括以下步骤(如图1所示):
步骤1:利用贝叶斯网络估计流量矩阵;
设计一种贝叶斯网络架构,通过有向无环的贝叶斯网络节点间的因果关系和强度,刻画网络流量的多分形特性,对于贝叶斯网络参数,利用流量矩阵先验测量值计算网络参数的极大后验概率估计值,结合贝叶斯网络架构和参数,生成流量矩阵的初始估计值,最后,运用正则化优化模型求解流量矩阵;
步骤2:利用流量矩阵进行网络异常检测;
贝叶斯模型被用来进行异常诊断,对于异常诊断,通过一组网络业务流量训练数据来使贝叶斯网络学习,根据训练数据集间的联合概率分布,随机生成一个流量矩阵作为网络议程诊断的预测因子;将网络探针分布式部署到不同的网络节点,利用预测因子进行网络异常检测。
作为技术方案的改进,该基于分布式探针监测的网络业务异常侦测方法还包括:
步骤3:利用两个骨干网Abilene和
Figure BDA0001385015320000081
的真实数据仿真分析该基于分布式探针监测的网络业务异常侦测方法的有效性和算法的整体性能。
其中,步骤1具体包括如下步骤:
步骤11:构建一个有向无环图;
步骤12:根据已测得的流量矩阵、有向无环图计算
Figure BDA0001385015320000082
步骤13:根据步骤12获得的参数估计值
Figure BDA0001385015320000083
随机生成流量矩阵初始估计值;
步骤14:根据正则化优化模型计算最终的流量矩阵估计值。
其中,步骤11:构建一个有向无环图的方法如下:
贝叶斯网络是一个概率图模型,它由一个有向无环图和一组随机变量 (X(q),其中q=1,2,.Q.,,而Q表示节点数目)及其条件概率分布 (Θ=(θn,1n,2,...,θn,Q))构成,从而贝叶斯网络可由一个二元组表示,即 B=(G,Θ),其中G=(V,E)为一个有向无环图,V和E分别为节点集和有向边集;Θ是向量,表示所有节点的条件概率分布,有向无环图中的有向边描述了节点之间的因果联系,概率分布则描述了节点之间的影响强度,假设节点数为Q=|V|,则贝叶斯网络定义了随机变量X(q),以及联合概率密度函数:
其中,πX(q)表示图G中节点X(q)的父节点;
设计一种有向无环图架构建模端到端网络流量的因果关系,如图2所示,构建的贝叶斯网络架构的节点数量为Q=CT′,其中C和T′均为常数,节点首先依次相连形成链式结构,有向无环图中所有的节点集可以分为C个子集,每个子集包含T′个节点,并且第c个子集中的第t′个节点分别与第 c+1、c+2、…、C子集中的第t′个节点相连。
其中,步骤12:根据已测得的流量矩阵、有向无环图计算的方法如下:
首先,假设流量矩阵X描述了网络中N2条OD(Origin-Destination)流 Q个时刻的流量变化情况,则第n条OD流可表示为X(n,*)=(X(n,1),X(n,2),...,X(n,Q)),每个元素表示为X(n,q)(q=1,2,...,Q),将X(n,*)中的每一个元素依次对应于有向无环图中的节点1至Q,同时,假设X(n,q)有Kn,q个取值,且其父节点数量为Jn,q,此时,定义一个参数θn,q,j,k =p(X(n,q) =k| πX(n,q) =j) 表示第n条OD流的第q个元素在给定父节点j 的条件下取值为k的概率,其中k=1,2,...,Kn,q,且j=1,2,...,Jn,q,对于向量
Figure BDA0001385015320000102
则获得联合概率密度函数为
Figure BDA0001385015320000103
其中,向量Θ=(θn,1n,2,...,θn,Q),ξ表示正态分布N(ξ,σ2(ξ))的均值,且 p(θn,q,j|ξ)=N(ξ,σ2(ξ)),其中σ2(·)表示期望和方差之间已知的关联性;
然后,假设所有变量θn,q,j(其中q=1,2,...,Q,J=1,2,...,Jq)满足独立同分布,则其后验概率密度函数为
第三,对于完整的数据集X(n,*),则有
最后,通过极大后验概率方法,可计算得到参数Θ:
Figure BDA0001385015320000106
其中,步骤13:根据步骤12获得的参数估计值
Figure BDA0001385015320000107
随机生成流量矩阵初始估计值的方法如下:
根据公式(5)获得参数Θ的估计值后,则由公式(2)可获得第n条 OD流的联合概率分布p(X(n,*)|Θ,ξ),类似地,通过N2-1次的重复计算就能够得到整个网络N2条OD流的联合概率分布,从而由以上联合概率分布生成流量矩阵的初始估计值X0
其中,步骤14:根据正则化优化模型计算最终的流量矩阵估计值的方法如下:
由以下正则化优化模型估计流量矩阵:
Figure BDA0001385015320000111
其中,流量矩阵X满足约束条件Y=RX(其中R表示路由矩阵,Y表示链路负载),a为所有OD流方差的平均值,
Figure BDA0001385015320000112
表示流量矩阵X的估计值,
Figure BDA0001385015320000113
表示在R和Y已知情况下由流量矩阵R计算的链路估计值
Figure BDA0001385015320000114
与链路负载Y的偏差。
其中,步骤2具体包括如下步骤:
步骤21:通过一组网络流量数据作为训练数据,根据公式(3)获得每条OD流的估计参数
Figure BDA0001385015320000115
然后根据公式(2)计算所有OD流在不同时刻的联合概率密度函数,从而获得其联合概率分布,通过以上方式,用贝叶斯网络对训练数据进行学习,获得关于网络流量的内在特征和属性;
步骤22:利用联合概率密度函数,生成网络流量矩阵的估计值
Figure BDA0001385015320000116
步骤23:将网络探针分布式部署到不同的网络节点,对于第n条OD 流,通过网络探针获得其测量值Xp,并通过公式(7)计算其与估计值
Figure BDA0001385015320000117
的偏差为:
Figure BDA0001385015320000118
步骤24:根据置信区间(μpre-3σprepre+3σpre),判断网络流量偏差errp的范围,从而判断网络流量是否发生异常变化,,其中,μpre和σpre分别表示偏差的均值和方差。
下面,利用两个骨干网Abilene和
Figure BDA0001385015320000121
的真实数据仿真分析该基于分布式探针监测的网络业务异常侦测方法的有效性和算法的整体性能。
实施例1
直接比较Abilene和
Figure BDA0001385015320000122
骨干网的真实流量和根据本发明的基于分布式探针监测的网络业务异常侦测方法获得的估计值。
图3和4分别展示了Abilene和
Figure BDA0001385015320000123
两个网络数据流量的真实值和采用本发明的流量矩阵的估计方法得到的网络数据流量的估计值的对比。x 轴和y轴分别表示网络数据流量的估计值和真实值,从图3可以看出BN算法能够准确估计Abilene网络数据流量,但是仍然出现了少量的负估计,对于
Figure BDA0001385015320000124
网络数据,如图4所示,BN算法出现较大的估计误差,特别是出现了较明显的负估计。
实施例2
评估算法的有效性;
仿真中,将BN算法与SRSVD算法、TomoGravity算法和PCA算法做比较。首先比较4种算法的估计偏差,算法的估计偏差定义为
Figure BDA0001385015320000125
其中,X(n,t)和
Figure BDA0001385015320000126
分别表示真实的网络流量及其估计值。
图5为4种算法对于Abilene网络数据的估计偏差,x轴表示OD流的 ID,并且根据流量均值进行降序排列,y轴表示算法的估计偏差,可以看出随着OD流均值的降低,BN算法和SRSVD算法的估计偏差逐渐减小,并且相比于SRSVD算法,BN算法具有较小的估计偏差,此外,TomoGravity 算法和PCA算法的估计偏差较大,同时SRSVD算法和PCA算法分别出现了明显的过估计和负估计。
在分析算法的估计偏差基础上,在这里进一步分析算法估计偏差的方差,以此评估算法捕获长相关特性的能力。仿真中,利用采样标准差(Sample Standard Deviation)作为方差的度量进行分析。采样标准差定义为
Figure BDA0001385015320000131
其中,
Figure BDA0001385015320000132
图6给出了4种算法对于Abilene网络数据流量的估计偏差与采样标准差,从图中可以看出BN算法和PCA算法具有少量的较大的采样标准差。
对于
Figure BDA0001385015320000133
网络数据,如图7和8所示。PCA算法在估计小的OD 流时具有较大的估计偏差。此外,我们能够得到与Abilene网络数据相同的结果,即BN算法和PCA算法的采样标准差较大。因此,对于具有小的估计偏差和较大采样标准差的BN算法来说,其更适合于捕获端到端网络流量的长相关性。
实施例3
评估算法的整体性能;
采用算法的性能改进率(Performance Improvement Ratio)作为度量来评估算法的整体性能,算法的性能改进率定义为
Figure BDA0001385015320000141
其中,
Figure BDA0001385015320000142
Figure BDA0001385015320000143
分别表示通过算法a和算法b得到的流量矩阵估计值。如图9所示,对于 Abilene网络数据,BN算法相比SRSVD算法、TomoGravity算法和PCA算法的性能改进率分别为57.61%、53.14%和54.94%。如图10所示,对于
Figure BDA0001385015320000144
网络数据,性能改进率依次为46.91%、44.71%和71.70%。
实施例4
评估该基于分布式探针监测的网络业务异常侦测方法在网络业务异常检测中的有效性;
将上面用到的两个骨干网Abilene和
Figure BDA0001385015320000145
的真实数据集作为正常流量。基于这个数据集,随机生成三个异常流量。图11显示了2个正常的 OD流和相关的异常流量。我们分别从Abilene网络和
Figure BDA0001385015320000146
网络选择OD 105和OD 438。红线表示有异常的网络流。在这里,我们定义第p个OD 流的预测误差为:
Figure BDA0001385015320000147
其中,
Figure BDA0001385015320000148
表示第p个OD流预测指标。利用预测误差,设立一个阈值来进行异常检测。假设预测误差服从正态分布,大多数预测误差(约99.7%)的值是(μpre-3σprepre+3σpre)范围内。因此,设置的阈值是可以覆盖99.7%个预测误差的值。在图12中,绘制了本发明的异常侦测结果,从图12中可以看出,通过所提出的基于贝叶斯网络结构来发现异常是可行和有效的。

Claims (6)

1.一种基于分布式探针监测的网络业务异常侦测方法,其特征在于,包括如下步骤:
步骤1:利用贝叶斯网络估计流量矩阵;
设计一种贝叶斯网络架构,通过有向无环的贝叶斯网络节点间的因果关系和强度,刻画网络流量的多分形特性,对于贝叶斯网络参数,利用流量矩阵先验测量值计算网络参数的极大后验概率估计值,结合贝叶斯网络架构和参数,生成流量矩阵的初始估计值,最后,运用正则化优化模型求解流量矩阵;
其中,步骤1具体包括如下步骤:
步骤11:构建一个有向无环图;
步骤12:根据已测得的流量矩阵、有向无环图计算
Figure FDA0002261889180000011
步骤13:根据步骤12获得的参数估计值
Figure FDA0002261889180000012
随机生成流量矩阵初始估计值;
步骤14:根据正则化优化模型计算最终的流量矩阵估计值;
其中,步骤11:构建一个有向无环图的方法如下:
贝叶斯网络是一个概率图模型,它由一个有向无环图和一组随机变量X(q),其中,q=1,2,...,Q,而Q表示节点数目及其条件概率分布Θ=(θn,1n,2,...,θn,Q)构成,从而贝叶斯网络可由一个二元组表示,即B=(G,Θ),其中G=(V,E)为一个有向无环图,V和E分别为节点集和有向边集;Θ是向量,表示所有节点的条件概率分布,有向无环图中的有向边描述了节点之间的因果联系,概率分布则描述了节点之间的影响强度,假设节点数为Q=|V|,则贝叶斯网络定义了随机变量X(q),以及联合概率密度函数:
Figure FDA0002261889180000021
其中,πX(q)表示图G中节点X(q)的父节点;
设计一种有向无环图架构建模端到端网络流量的因果关系,构建的贝叶斯网络架构的节点数量为Q=CT′,其中C和T′均为常数,节点首先依次相连形成链式结构,有向无环图中所有的节点集可以分为C个子集,每个子集包含T′个节点,并且第c个子集中的第t′个节点分别与第c+1、c+2、…、C子集中的第t′个节点相连;
步骤2:利用流量矩阵进行网络异常检测;
贝叶斯模型被用来进行异常诊断,对于异常诊断,通过一组网络业务流量训练数据来使贝叶斯网络学习,根据训练数据集间的联合概率分布,随机生成一个流量矩阵作为网络异常 诊断的预测因子;将网络探针分布式部署到不同的网络节点,利用预测因子进行网络异常检测。
2.根据权利要求1所述的一种基于分布式探针监测的网络业务异常侦测方法,其特征在于,还包括:
步骤3:利用两个骨干网Abilene和
Figure FDA0002261889180000022
的真实数据仿真分析该基于分布式探针监测的网络业务异常侦测方法的有效性和算法的整体性能。
3.根据权利要求1所述的一种基于分布式探针监测的网络业务异常侦测方法,其特征在于:
步骤12:根据已测得的流量矩阵、有向无环图计算
Figure FDA0002261889180000023
的方法如下:
首先,假设流量矩阵X描述了网络中N2条OD(Origin-Destination)流Q个时刻的流量变化情况,则第n条OD流可表示为X(n)=(X(n,1),X(n,2),...,X(n,Q)),每个元素表示为X(n,q),q=1,2,...,Q,将X(n)中的每一个元素依次对应于有向无环图中的节点1至Q,同时,假设X(n,q)有Kn,q个取值,且其父节点数量为Jn,q,此时,定义一个参数θn,q,j,k=p(X(n,q)=k|πX(n,q)=j)表示第n条OD流的第q个元素在给定父节点j的条件下取值为k的概率,其中k=1,2,...,Kn,q,且j=1,2,...,Jn,q,对于向量
Figure FDA0002261889180000031
Figure FDA0002261889180000032
则获得联合概率密度函数为
Figure FDA0002261889180000033
其中,向量Θ=(θn,1n,2,...,θn,Q),ξ表示正态分布N(ξ,σ2(ξ))的均值,且p(θn,q,j|ξ)=N(ξ,σ2(ξ)),其中σ2(·)表示期望和方差之间已知的关联性,
然后,假设所有变量θn,q,j满足独立同分布,其中,q=1,2,...,Q,J=1,2,...,Jq,则其后验概率密度函数为
Figure FDA0002261889180000034
第三,对于完整的数据集X(n,*),则有
Figure FDA0002261889180000035
最后,通过极大后验概率方法,可计算得到参数
Figure FDA0002261889180000036
4.根据权利要求3所述的一种基于分布式探针监测的网络业务异常侦测方法,其特征在于:
步骤13:根据步骤12获得的参数估计值
Figure FDA0002261889180000041
随机生成流量矩阵初始估计值的方法如下:
根据公式(5)获得参数Θ的估计值后,则由公式(2)可获得第n条OD流的联合概率分布p(X(n,*)|Θ,ξ),类似地,通过N2-1次的重复计算就能够得到整个网络N2条OD流的联合概率分布,从而由以上联合概率分布生成流量矩阵的初始估计值X0
5.根据权利要求4所述的一种基于分布式探针监测的网络业务异常侦测方法,其特征在于:
步骤14:根据正则化优化模型计算最终的流量矩阵估计值的方法如下:
由以下正则化优化模型估计流量矩阵:
Figure FDA0002261889180000042
其中,流量矩阵X满足约束条件Y=RX,其中,R表示路由矩阵,Y表示链路负载,a为所有OD流方差的平均值,表示流量矩阵X的估计值,表示在R和Y已知情况下由流量矩阵R计算的链路估计值
Figure FDA0002261889180000045
与链路负载Y的偏差。
6.根据权利要求5所述的一种基于分布式探针监测的网络业务异常侦测方法,其特征在于,步骤2具体包括如下步骤:
步骤21:通过一组网络流量数据作为训练数据,根据公式(5)获得每条OD流的参数的估计值
Figure FDA0002261889180000046
然后根据公式(2)计算所有OD流在不同时刻的联合概率密度函数,从而获得其联合概率分布,通过以上方式,用贝叶斯网络对训练数据进行学习,获得关于网络流量的内在特征和属性;
步骤22:利用联合概率密度函数,生成网络流量矩阵的估计值
Figure FDA0002261889180000047
步骤23:将网络探针分布式部署到不同的网络节点,对于第n条OD流,通过网络探针获得其测量值Xp,并通过公式(7)计算其与估计值
Figure FDA0002261889180000051
的偏差为:
步骤24:根据置信区间(μpre-3σprepre+3σpre),判断网络流量偏差errp的范围,从而判断网络流量是否发生异常变化,其中,μpre和σpre分别表示偏差的均值和方差。
CN201710721647.7A 2017-08-22 2017-08-22 一种基于分布式探针监测的网络业务异常侦测方法 Active CN107483251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710721647.7A CN107483251B (zh) 2017-08-22 2017-08-22 一种基于分布式探针监测的网络业务异常侦测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710721647.7A CN107483251B (zh) 2017-08-22 2017-08-22 一种基于分布式探针监测的网络业务异常侦测方法

Publications (2)

Publication Number Publication Date
CN107483251A CN107483251A (zh) 2017-12-15
CN107483251B true CN107483251B (zh) 2020-02-21

Family

ID=60601206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710721647.7A Active CN107483251B (zh) 2017-08-22 2017-08-22 一种基于分布式探针监测的网络业务异常侦测方法

Country Status (1)

Country Link
CN (1) CN107483251B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460103B (zh) * 2018-02-05 2019-10-15 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN108400907B (zh) * 2018-02-08 2021-06-01 安徽农业大学 一种不确定网络环境下的链路丢包率推理方法
CN108965017B (zh) * 2018-07-27 2021-05-25 中国联合网络通信集团有限公司 一种网络流量预测方法和装置
CN109214456A (zh) * 2018-09-06 2019-01-15 深圳先进技术研究院 一种网络异常检测方法、系统及电子设备
CN109617743B (zh) * 2019-01-10 2022-05-13 北京新宇航星科技有限公司 网络性能监测与业务测试系统及测试方法
CN110430224B (zh) * 2019-09-12 2021-11-16 贵州电网有限责任公司 一种基于随机块模型的通信网络异常行为检测方法
US20220345396A1 (en) * 2019-09-17 2022-10-27 Nec Corporation Information processing apparatus, packet generation method, system, and program
CN111314121A (zh) * 2020-02-03 2020-06-19 支付宝(杭州)信息技术有限公司 链路异常检测方法以及装置
CN111884874B (zh) * 2020-07-15 2022-02-01 中国舰船研究设计中心 一种基于可编程数据平面的舰船网络实时异常检测方法
CN112101439B (zh) * 2020-09-09 2023-11-28 浙江大学 基于分布式贝叶斯网络的高速线材质量缺陷诊断与溯源方法
CN112291226B (zh) * 2020-10-23 2022-05-27 新华三信息安全技术有限公司 一种网络流量的异常检测方法及装置
CN112988438B (zh) * 2021-01-15 2022-09-09 国家电网有限公司客户服务中心 一种基于流数据多点组合监测分析方法及系统
CN112817823A (zh) * 2021-02-05 2021-05-18 杭州和利时自动化有限公司 一种网络状态监控方法、装置及介质
CN113705721B (zh) * 2021-09-08 2023-05-23 哈尔滨工业大学 梁桥支座群脱空病害的联合概率密度函数差诊断方法
CN116318761B (zh) * 2022-09-09 2024-02-06 广州天懋信息系统股份有限公司 基于大数据分析多步实时控制链路检测方法及系统
CN115865645A (zh) * 2022-12-22 2023-03-28 中移动信息技术有限公司 链路确定方法、装置、设备、介质及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060444A (zh) * 2007-05-23 2007-10-24 西安交大捷普网络科技有限公司 基于贝叶斯统计模型的网络异常检测方法
CN103023725A (zh) * 2012-12-20 2013-04-03 北京工业大学 一种基于网络流量分析的异常检测方法
CN104994056A (zh) * 2015-05-11 2015-10-21 中国电力科学研究院 一种电力信息网络中流量识别模型的动态更新方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894486B2 (en) * 2015-06-03 2018-02-13 Rutgers, The State University Of New Jersey Tracking service queues using single-point signal monitoring
GB2547202B (en) * 2016-02-09 2022-04-20 Darktrace Ltd An anomaly alert system for cyber threat detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060444A (zh) * 2007-05-23 2007-10-24 西安交大捷普网络科技有限公司 基于贝叶斯统计模型的网络异常检测方法
CN103023725A (zh) * 2012-12-20 2013-04-03 北京工业大学 一种基于网络流量分析的异常检测方法
CN104994056A (zh) * 2015-05-11 2015-10-21 中国电力科学研究院 一种电力信息网络中流量识别模型的动态更新方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"宽带网络流量矩阵估计的自适应正则贝叶斯方法ARBM";唐健 等;《通信理论与信号处理新进展-2005年通信理论与信号处理年会论文集》;20050630;第823-828页 *

Also Published As

Publication number Publication date
CN107483251A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107483251B (zh) 一种基于分布式探针监测的网络业务异常侦测方法
Andreoletti et al. Network traffic prediction based on diffusion convolutional recurrent neural networks
Fontugne et al. Scaling in internet traffic: a 14 year and 3 day longitudinal study, with multiscale analyses and random projections
US8503320B2 (en) Available bandwidth estimation in a packet-switched communication network
Nie et al. Modeling network traffic for traffic matrix estimation and anomaly detection based on Bayesian network in cloud computing networks
Jiang et al. An approximation method of origin–destination flow traffic from link load counts
CN111800414A (zh) 一种基于卷积神经网络的流量异常检测方法及系统
Ferriol-Galmés et al. RouteNet-Fermi: Network modeling with graph neural networks
Quer et al. Cognitive network inference through bayesian network analysis
Zhou et al. Internet traffic classification using feed-forward neural network
Wang et al. xnet: Improving expressiveness and granularity for network modeling with graph neural networks
Stefanova et al. Off-policy q-learning technique for intrusion response in network security
Liu et al. Prediction and correction of traffic matrix in an IP backbone network
Utic et al. A survey of reinforcement learning in intrusion detection
Jiang et al. ML-based pre-deployment SDN performance prediction with neural network boosting regression
Hagos et al. Recurrent neural network-based prediction of tcp transmission states from passive measurements
Li et al. Distributed quickest detection in sensor networks via two-layer large deviation analysis
CN115022191B (zh) 一种IPv6网络中端到端流快速反演方法
Rodrigues et al. Improving the traffic prediction capability of neural networks using sliding window and multi-task learning mechanisms
Sahay et al. Traffic convergence detection in IoT LLNs: a multilayer perceptron based mechanism
Singhal et al. Optimal sampling in state space models with applications to network monitoring
Flinta et al. Predicting round-trip time distributions in iot systems using histogram estimators
Liu et al. QoE assessment model based on continuous deep learning for video in wireless networks
Zarpelão et al. Parameterized anomaly detection system with automatic configuration
Jin et al. Open World Learning Graph Convolution for Latency Estimation in Routing Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xia Fei

Inventor after: Di Zhuo

Inventor after: Gao Xiao

Inventor after: Meng Fanbo

Inventor after: Liu Qingfan

Inventor after: Wang Peng

Inventor after: Jiao Mingcheng

Inventor after: Yang Heng

Inventor after: Guo Shiying

Inventor after: Chen Guoshun

Inventor after: Wang Yiru

Inventor before: Xia Fei

Inventor before: Di Zhuo

Inventor before: Gao Xiao

Inventor before: Meng Fanbo

Inventor before: Liu Qingfan

Inventor before: Wang Peng

Inventor before: Jiao Mingcheng

Inventor before: Yang Heng

Inventor before: Guo Shiying

Inventor before: Chen Guoshun

Inventor before: Wang Yiru

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant