CN102739527A - 网络丢包率探测方法 - Google Patents
网络丢包率探测方法 Download PDFInfo
- Publication number
- CN102739527A CN102739527A CN2012101958305A CN201210195830A CN102739527A CN 102739527 A CN102739527 A CN 102739527A CN 2012101958305 A CN2012101958305 A CN 2012101958305A CN 201210195830 A CN201210195830 A CN 201210195830A CN 102739527 A CN102739527 A CN 102739527A
- Authority
- CN
- China
- Prior art keywords
- link
- packet loss
- network
- matrix
- packet drop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及计算机网络技术领域,公开了一种网络丢包率探测方法,包括以下步骤:101、使用单播数据包探测网络的拓扑以及每条探测路径的丢包率,并根据所述网络的拓扑和路径的丢包率进行建模;102、根据所建的模型计算链路丢包率;103、判断步骤102是否能计算出所有链路丢包率,若是,则结束;否则执行步骤104;104、根据步骤102所计算的链路丢包率建立目标函数;105、根据所述目标函数求出剩余链路的丢包率;106、将步骤102和步骤105所计算出的链路丢包率合并,得到所有链路丢包率结果。本发明针对应用环境受限的问题,采用单播探测,无需内部节点协助,快速、准确地探测丢包率。
Description
技术领域
本发明涉及计算机网络技术领域,特别是涉及一种网络丢包率探测方法。
背景技术
近年来,随着计算机网络规模日益扩大,受设备多样性与网络复杂性影响,网络中的不稳定因素也在增加;与此同时,网络流量急剧增长,各类新型业务,如视频会议、视频点播、P2P等,也以极快的速度吞噬着网络资源,人们对网络的可靠性、稳定性和高效性的要求越来越高,对网络的管理提出了严峻的考验。
网络测量——精确地捕捉定量的因特网及其活动的测量数据——作为系统中获取信息的关键环节,其根本目的是全面了解网络行为,总结网络行为的规律,研究制约网络性能提高的因素,为人们正确、高效地管理网络提供了有力的理论依据。按照测量系统所处的位置,网络测量可分为基于路由器的测量、端到端的测量以及路由器协助的测量。当前广泛应用的是路由器测量方法,即在网络节点或者网络节点之间直接主动或被动测量网络性能,但该方法存在着很多潜在的局限,如成本、安全、性能、可行性等。以上这些原因使得需要引进新的测量方法,能够在没有路由节点的配合下,通过端到端的测量来诊断网络性能问题。
网络层析成像,是将医学上的计算机断层成像思想引入到网络测量中,在网络边界上进行端到端的测量,根据网络边界的测量信息来分析和探测网络的内部性能,是一种在没有网络节点协作条件下,通过主动发送探测或被动收集网络内部有用信息的新技术,结合统计学方法能够较准确地探测出网络所有链路的参数。丢包率探测技术作为其中一个分支,是了解网络行为、进行网络控制、消除网络瓶颈、提高网络性能的基础和重要环节,因此具有十分重要的意义。
现有的丢包率探测技术可以采用多播探测或单播探测,基于多播探测的探测技术是指各网络节点使用多播数据包进行探测,通过路径间的相关性信息探测丢包率;而基于单播探测的探测技术是指各节点使用单播数据包进行探测,视算法不同可能需要进行多次探测或特殊形式的探测。
较早的层析成像技术多采用多播探测,R.Caceres等人早在1999年就对其进行了较为系统的研究。基于多播探测的丢包率探测技术通常采用极大似然法进行探测,在探测中需要采用多播探测包探测,精度较高。但是支持多播的网络环境较少,因而这类方法的应用受到较大限制。
为了解决多播探测应用环境受限的问题,可以采用单播探测。公开号为CN102299829A的中国专利申请提供了一种网络故障探测与定位的方法,通过将网络模拟成贝叶斯模型进行概率探测来定位丢包率大的故障链路;公开号为CN101296133A的中国专利申请提供了一种丢包率的推测方法,在网络内部设置监测点,通过极大似然法和期望最大化法探测链路丢包率;公开号为CN1921422A的中国专利申请提供了一种估计丢包率的方法,通过包组模拟多播环境,并通过最小二乘法探测链路丢包率。H.X.Nguyen等人提出的LIA算法是目前较为先进的丢包率探测算法,通过多次探测计算链路丢包率的方差,根据方差探测链路丢包率。但这些算法对探测要求较高,并且计算复杂,不能满足大规模网络探测的需求。
具体来说,上述现有技术存在以下缺陷:
(1)早期基于多播探测的探测算法以及公开号为CN101296133A的中国专利申请提供的丢包率探测算法,其应用环境受限。现有的基于多播探测的丢包率探测算法需要被探测网络内部所有设备支持多播,而大多数网络无法满足这一要求,因而基于多播探测的丢包率探测算法缺乏实用价值。在网络内部设置监测点同样存在这个缺陷。
(2)LIA算法以及公开号为CN1921422A的中国专利申请提供的包组探测法对网络造成负载较重,探测时间长。现有的基于单播探测的丢包率探测技术为了获取网络中的信息而采取了较为复杂的探测模式。例如LIA算法需要对每条路径进行多次探测,包组法需要对每一组路径发送探测包组,也会使每条路经被多次探测,这都将产生较大的网络流量,从而可能人为造成拥塞,对测量结果造成影响。多次探测所需的探测时间也比较长,更容易受到网络内不稳定因素的干扰。
(3)公开号为CN102299829A的中国专利申请提供的方法复杂度较高。实际网络节点规模比较大的情况下,运算时间比较长,已经失去探测的意义。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何快速、准确、简便地探测丢包率。
(二)技术方案
为了解决上述技术问题,本发明提供一种网络丢包率探测方法,其特征在于,包括以下步骤:
101、使用单播数据包探测网络的拓扑以及每条探测路径的丢包率,并根据所述网络的拓扑和路径的丢包率进行建模;
102、根据所建的模型计算链路丢包率;
103、判断步骤102是否能计算出所有链路丢包率,若是,则结束;否则执行步骤104;
104、根据步骤102所计算的链路丢包率建立目标函数;
105、根据所述目标函数求出剩余链路的丢包率;
106、将步骤102和步骤105所计算出的链路丢包率合并,得到所有链路丢包率结果。
优选地,步骤101中,使用线性代数模型进行建模。
优选地,所述建模的步骤具体为:建立代数方程y=Dx,式中y是已知列向量,表示每条路径通过率的对数,通过率=1-丢包率,x是未知列向量,表示每条链路通过率的对数;D是路由矩阵,所述路由矩阵的一行表示一条路径,一列表示一条链路,Di,k为矩阵D的第i行第k列的元素。
优选地,步骤102中,将方程y=Dx的解x表示为非齐次线性方程组的导出组0=Dx的基础解系Zr,与非齐次线性方程的一组特解x0之和,x=Zr+x0,Z为矩阵D的零空间中的一组基,r为任意实数向量,x0为非齐次线性方程y=Dx的一组特解。
优选地,步骤103具体为:判断步骤102是否已经计算出所有链路丢包率,若Z为空矩阵,表示所有链路丢包率都能够唯一确定,则结束;若Z非空,表示不能唯一确定所有链路丢包率,则方程y=Dx的解包含任意实数向量r,执行步骤104。
优选地,步骤104中,根据矩阵Z中每一行是否包含非0元素,将方程组y=Dx的解x拆分成两组:xA=x0 A和xB=ZBr+x0 B,上标A、B用于标识这两组解,根据步骤102所计算出的链路丢包率求出对应的链路通过率的均值然后以为先验概率建立非线性规划的目标函数min f(r),其中,
优选地,步骤105具体为:使用非线性规划方法求出满足约束条件且使目标函数最小的一组r,再代入xB的表达式解出xB,从而求出剩余链路的丢包率。
优选地,Di,k取值为0或1,当Di,k=0时表示路径i不包含链路k,当Di,k=1时表示路径i包含链路k。
优选地,步骤102中使用最小范数解作为特解x0。
(三)有益效果
上述技术方案具有如下优点:针对应用环境受限的问题,采用单播探测,无需内部节点协助,快速、准确、简便地探测丢包率。具体来说,
1)在建模完成后,先将能求解的链路丢包率计算出来,再进入非线性规划的探测流程,因奇异值分解法运算复杂度较低,进行上述处理可以节约计算资源,同时为下一步的探测提供所需的信息。
2)根据接收到的丢包率信息,使用非线性规划方法探测剩余链路的丢包率,利用已经求解出的部分链路丢包率估计剩余链路丢包率的分布,在提高算法准确度的同时也降低了算法复杂度。
附图说明
图1是本发明的方法流程图;
图2是本发明实施例中所采用的网络拓扑图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示,本发明的方法包括以下步骤:
101)读取信息并建摸。对网络中路径丢包率和链路丢包率的关系使用线性代数模型进行建模。通过单播数据包探测获得网络的拓扑以及每条探测路径的丢包率,建立代数方程y=Dx。式中y是列向量,表示每条路径通过率的对数,通过率=1-丢包率,x是未知列向量,表示每条链路通过率的对数;D是路由矩阵,一行表示一条路径,一列表示一条链路,Di,k为矩阵D的第i行第k列的元素,取值为0或1,当Di,k=0时表示路径i不包含链路k,当Di,k=1时表示路径i包含链路k。
102)计算链路丢包率。方程y=Dx的解可以表示为非齐次线性方程组的导出组0=Dx的基础解系Zr与非齐次线性方程的一组特解x0之和,即x=Zr+x0,Z为矩阵D的零空间中的一组基,r为任意实数向量,x0为非齐次线性方程y=Dx的一组特解。本发明使用最小范数解作为特解x0。
103)判断步骤102是否已经计算出所有链路丢包率,若Z为空矩阵,表示本步骤能计算出所有链路丢包率,则所有链路丢包率都能够唯一确定,直接输出结果。若Z非空,表示本步骤不能唯一确定所有链路丢包率,方程y=Dx的解包含任意实数向量r,需要进一步的推理,因此执行步骤104。
104)建立目标函数。根据矩阵Z中每一行是否包含非0元素,将方程组y=Dx的解x拆分成两组:xA=x0 A和xB=ZBr+x0 B,上标A、B用于标识这两组解。这样就可以先确定一部分的链路丢包率。求出这一部分链路通过率的均值再以为先验概率建立非线性规划的目标函数min f(r),其中,
105)探测剩余链路丢包率,使用非线性规划方法求出满足约束条件且使目标函数最小的一组r,再代入xB的表达式解出xB,从而求出剩余链路的丢包率。
106)将步骤102与105计算出的链路丢包率合并,输出结果。
下面以一个实际IP网络的部分拓扑结构为例来展示本发明的丢包率探测方法。该拓扑结构中任意两个主机之间存在着端到端的服务。L1-L5代表网络中的链路,上层服务的好坏依赖于这些节点的性能。网络中存在一个数据采集机,实时监控和采集网络中存在的数据信息。此拓扑结构如图2所示。
101)读取网络拓扑和探测信息,具体步骤包括:
先以图中的4个主机为探测端相互进行追踪路由获得网络拓扑,再发送单播UDP探测包统计端到端丢包率,每条路径1000个数据包。获得数据如下:
每一行表示一条路径,分别为H1→H2、H3、H4,H2→H1、H3、H4,H3→H1、H2、H4,H4→H1、H2、H3;每一列表示一条链路,分别对应图中的L1至L5(从左至右),以及它们的反方向。
102)计算链路丢包率:
求出矩阵D的零空间上的一组基以及一组特解(最小范数解):
103)判断Z是否为空矩阵,该实例Z非空,需要进一步探测。
104-105)详细步骤包括:
根据Z拆分x:
建立目标函数:
使用非线性规划推理使f(r1)取最小值,并满足约束条件的r1=-0.0128。再代入xB,解出剩余链路的丢包率:
106)输出结果:将xA与xB的结果合并,输出链路丢包率:10条链路的丢包率依次为0、0.001、0、0.001、0.0009、0.0018、0、0.1484、0、0.099。
以上过程展示了网络丢包率探测的全过程。本发明的方法可以应用到复杂、大规模网络中,进行快速、准确的丢包率探测,比如可应用于在任何能够获得网络拓扑且支持UDP的网络环境中,且对网络造成负载较小。对于大量业务部署的复杂网络(500个节点以上),仍然可以在小于1000ms的时间内探测出链路丢包率,运维人员可以根据诊断结果快速做出反应,保证系统的正常运行。实验表明,即使网络规模比较大(500个节点以上),探测准确度依然在90%以上。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本发明的保护范围。
Claims (9)
1.一种网络丢包率探测方法,其特征在于,包括以下步骤:
101、使用单播数据包探测网络的拓扑以及每条探测路径的丢包率,并根据所述网络的拓扑和路径的丢包率进行建模;
102、根据所建的模型计算链路丢包率;
103、判断步骤102是否能计算出所有链路丢包率,若是,则结束;否则执行步骤104;
104、根据步骤102所计算的链路丢包率建立目标函数;
105、根据所述目标函数求出剩余链路的丢包率;
106、将步骤102和步骤105所计算出的链路丢包率合并,得到所有链路丢包率结果。
2.如权利要求1所述的方法,其特征在于,步骤101中,使用线性代数模型进行建模。
3.如权利要求2所述的方法,其特征在于,所述建模的步骤具体为:建立代数方程y=Dx,式中y是已知列向量,表示每条路径通过率的对数,通过率=1-丢包率,x是未知列向量,表示每条链路通过率的对数;D是路由矩阵,所述路由矩阵的一行表示一条路径,一列表示一条链路,Di,k为矩阵D的第i行第k列的元素。
4.如权利要求3所述的方法,其特征在于,步骤102中,将方程y=Dx的解x表示为:非齐次线性方程组的导出组0=Dx的基础解系Zr与非齐次线性方程的一组特解x0之和,x=Zr+x0,Z为矩阵D的零空间中的一组基,r为任意实数向量,x0为非齐次线性方程y=Dx的一组特解。
5.如权利要求4所述的方法,其特征在于,步骤103具体为:判断步骤102是否已经计算出所有链路丢包率,若Z为空矩阵,表示所有链路丢包率都能够唯一确定,则结束;若Z非空,表示不能唯一确定出所有链路丢包率,方程y=Dx的解包含任意实数向量r,执行步骤104。
7.如权利要求6所述的方法,其特征在于,步骤105具体为:使用非线性规划方法求出满足约束条件且使目标函数最小的一组r,再代入xB的表达式解出xB,从而求出剩余链路的丢包率。
8.如权利要求3所述的方法,其特征在于,Di,k取值为0或1,当Di,k=0时表示路径i不包含链路k,当Di,k=1时表示路径i包含链路k。
9.如权利要求4所述的方法,其特征在于,步骤102中使用最小范数解作为特解x0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210195830.5A CN102739527B (zh) | 2012-06-14 | 2012-06-14 | 网络丢包率探测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210195830.5A CN102739527B (zh) | 2012-06-14 | 2012-06-14 | 网络丢包率探测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102739527A true CN102739527A (zh) | 2012-10-17 |
CN102739527B CN102739527B (zh) | 2014-10-29 |
Family
ID=46994341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210195830.5A Expired - Fee Related CN102739527B (zh) | 2012-06-14 | 2012-06-14 | 网络丢包率探测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102739527B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103906088A (zh) * | 2012-12-28 | 2014-07-02 | 清华大学 | 移动无线传感器网络中链路质量的测量方法 |
CN106713035A (zh) * | 2016-12-23 | 2017-05-24 | 西安电子科技大学 | 一种基于分组测试的拥塞链路定位方法 |
CN108400907A (zh) * | 2018-02-08 | 2018-08-14 | 安徽农业大学 | 一种不确定网络环境下的链路丢包率推理方法 |
CN108924004A (zh) * | 2018-06-29 | 2018-11-30 | 中国科学院深圳先进技术研究院 | 商用酒店厨房物联网数据的异常检测分析方法及相关产品 |
CN113315679A (zh) * | 2021-05-26 | 2021-08-27 | 广东电网有限责任公司 | 一种基于网络资源特征的链路丢包率推理方法及系统 |
CN114615164A (zh) * | 2022-03-09 | 2022-06-10 | 网易(杭州)网络有限公司 | 丢包率探测方法及装置、存储介质、电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7778949B2 (en) * | 2006-05-15 | 2010-08-17 | Nec Laboratories America, Inc. | Method and apparatus for transductive support vector machines |
CN102263676A (zh) * | 2011-07-11 | 2011-11-30 | 北京邮电大学 | 网络瓶颈检测方法 |
-
2012
- 2012-06-14 CN CN201210195830.5A patent/CN102739527B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7778949B2 (en) * | 2006-05-15 | 2010-08-17 | Nec Laboratories America, Inc. | Method and apparatus for transductive support vector machines |
CN102263676A (zh) * | 2011-07-11 | 2011-11-30 | 北京邮电大学 | 网络瓶颈检测方法 |
Non-Patent Citations (3)
Title |
---|
HUNG X.NGUYEN ET AL: ""Network Loss Inference with Second Order Statistics of End-to-End Flows"", 《PROCEEDINGS OF ACM SIGCOMM’07》 * |
YAN CHEN ET AL: ""An Algebraic Approach to Practical and Scalable Overlay Network Monitoring"", 《PROCEEDINGS OF ACM SIGCOMM 2004》 * |
刘星: ""约束网络层析成像及其在主动网中的仿真实现"", 《中国优秀博硕士学位论文全文数据库 (硕士)信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103906088A (zh) * | 2012-12-28 | 2014-07-02 | 清华大学 | 移动无线传感器网络中链路质量的测量方法 |
CN103906088B (zh) * | 2012-12-28 | 2017-06-16 | 清华大学 | 移动无线传感器网络中链路质量的测量方法 |
CN106713035A (zh) * | 2016-12-23 | 2017-05-24 | 西安电子科技大学 | 一种基于分组测试的拥塞链路定位方法 |
CN108400907A (zh) * | 2018-02-08 | 2018-08-14 | 安徽农业大学 | 一种不确定网络环境下的链路丢包率推理方法 |
CN108400907B (zh) * | 2018-02-08 | 2021-06-01 | 安徽农业大学 | 一种不确定网络环境下的链路丢包率推理方法 |
CN108924004A (zh) * | 2018-06-29 | 2018-11-30 | 中国科学院深圳先进技术研究院 | 商用酒店厨房物联网数据的异常检测分析方法及相关产品 |
CN108924004B (zh) * | 2018-06-29 | 2021-01-19 | 中国科学院深圳先进技术研究院 | 商用酒店厨房物联网数据的异常检测分析方法及相关产品 |
CN113315679A (zh) * | 2021-05-26 | 2021-08-27 | 广东电网有限责任公司 | 一种基于网络资源特征的链路丢包率推理方法及系统 |
CN114615164A (zh) * | 2022-03-09 | 2022-06-10 | 网易(杭州)网络有限公司 | 丢包率探测方法及装置、存储介质、电子设备 |
CN114615164B (zh) * | 2022-03-09 | 2023-12-29 | 网易(杭州)网络有限公司 | 丢包率探测方法及装置、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102739527B (zh) | 2014-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107409064B (zh) | 用于支持网络中不规则检测的方法和系统 | |
CN104221327B (zh) | 用于网络可用性分析的方法和装置 | |
CN102739527B (zh) | 网络丢包率探测方法 | |
CN103281256B (zh) | 基于网络层析的端到端路径丢包率探测方法 | |
Lin et al. | A general framework for quantitative modeling of dependability in cyber-physical systems: A proposal for doctoral research | |
CN102684902A (zh) | 基于探针预测的网络故障定位方法 | |
Liu et al. | Self-diagnosis for detecting system failures in large-scale wireless sensor networks | |
CN104869014A (zh) | 一种以太网故障定位与检测方法 | |
Pan et al. | A ${Q} $-learning based framework for congested link identification | |
CN102883359A (zh) | 一种用于无线传感器网络的关键节点的测量的方法、装置以及系统 | |
JP3430930B2 (ja) | パケット交換ネットワーク網におけるトラフィック推定方法および装置 | |
Chen et al. | An efficient solution to locate sparsely congested links by network tomography | |
CN104518896A (zh) | 基于内部网关协议路由介数的网络脆弱性分析方法和装置 | |
CN113484693A (zh) | 基于图神经网络的变电站二次回路故障定位方法及系统 | |
CN102868572A (zh) | 一种基于端到端探测的路径延时的测量方法 | |
Gu et al. | Recovery Routing Based on Q‐Learning for Satellite Network Faults | |
CN109756379A (zh) | 一种基于矩阵差分分解的网络性能异常检测与定位方法 | |
Liu et al. | Modelling and Estimation for Uncertain Systems with Transmission Delays, Packet Dropouts, and Out‐of‐Order Packets | |
CN102684935B (zh) | 基于信息量的流量矩阵估测方法 | |
Zhang et al. | Lossy links diagnosis for wireless sensor networks by utilising the existing traffic information | |
CN107171868A (zh) | Sdn网络的故障节点探测方法及其故障节点探测系统 | |
JP6378653B2 (ja) | サービス影響原因推定装置、サービス影響原因推定プログラム、及びサービス影響原因推定方法 | |
KR102044224B1 (ko) | 산업용 사물 인터넷에 기반한 산업 기기의 실행 실패 검출 시스템 | |
CN107135100A (zh) | 一种sdn网络的故障节点探测方法 | |
CN101888657B (zh) | 基于多点接入多路径分析的移动数据核心网故障定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141029 Termination date: 20210614 |