CN101110714A - 基于稳定采样序列的网络路径带宽测量方法 - Google Patents
基于稳定采样序列的网络路径带宽测量方法 Download PDFInfo
- Publication number
- CN101110714A CN101110714A CNA2007100497917A CN200710049791A CN101110714A CN 101110714 A CN101110714 A CN 101110714A CN A2007100497917 A CNA2007100497917 A CN A2007100497917A CN 200710049791 A CN200710049791 A CN 200710049791A CN 101110714 A CN101110714 A CN 101110714A
- Authority
- CN
- China
- Prior art keywords
- sampling
- host
- measurement point
- data1
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于稳定采样序列的网络路径带宽测量方法,包括选择主机、选择测量点、主机之间传送测量数据包对,对数据包对进行分析,滤除不稳定采样以及获得最终相对精确测量值等步骤,与现有的各种测量方法、工具相比,本发明采用稳定序列过滤方法,滤除了大量不稳定的测量采样序列,使剩余的采样具有较高的稳定程度,测量结果能够更加准确地反应网络的真实带宽。
Description
技术领域
本发明涉及一种网络路径带宽测量方法,确切地说涉及一种基于稳定采样序列,测量结果准确、消耗CPU和内存等资源低的网络路径带宽测量方法。
背景技术
网络运营商需要了解互联网的带宽情况来指导网络运行维护和扩充容量等规划工作;同时,互联网的许多应用也需要了解网络带宽特性来优化其应用的性能。因此,网络路径带宽测量技术对于网络运营商和网络应用有着非常重要的意义,它在网络运营、设备研制和下一代网络新生业务中有着广泛的应用。
人们发明了各种方法对路径带宽进行测量,如VPS,SLOPS,Packet Pair等等。在基于TCP协议的带宽测量中,目前采用的主要是包对(Packet Pair)方法及其变种。
包对的测量方式不需要网络中路由器协作,一般通过受测网络路径两端的两台主机来完成测量任务,其中一台主机A发送测量数据包,另一台主机B接受测量数据包。其基本原理如下:为了测量两点之间如果主机A到主机B之间的路径带宽,先从主机A连续发送两个长度相等(都为L)的报文到主机B,在主机B上记录这两个报文到达的时间差ΔT,则路径带宽PB可以表示为L/ΔT。PB表示了实际路径带宽的一个测量结果(称为采样),将多个PB采样结果取其均值,就可以获得对主机A到主机B实际路径带宽的最终估计结果。
尽管原理非常简单,但是包对测量有着相当大的技术难度,上述原理是在假定网络中没有背景流量下获得的。但是,网络中总是存在着背景流量,即其他正常业务的数据包。由于背景流量的影响,上述包对测量方法所测得的路径带宽存在着很大的误差,有研究发现多个探测包对得出的测量结果呈现多峰态分布,并指出是背景流量的多模态引起了多峰现象。特别是在网络拥塞程度较高的情况下,不同测量采样之间的差异将会非常明显,导致测量结果无法真实代表网络的真实路径带宽。
为了滤除背景流量对测量结果带来的影响,目前,国内外主要采用两种技术:密度估计技术和基于接收/发送带宽比率的过滤技术。但这两种方法都要求测量主机保存所有的测量采样,然后按照比较复杂的统计算法在所有测量采样中反复进行统计和比较操作,因此必然会大量消耗测量主机的CPU和内存资源,不适合于大规模流量下对多个网络路径的并发实时测量。
公开号为CN154527,申请日为2003年11月19日的中国专利文献公开了一种端到端的网络瓶颈带宽测量方法,该专利文献具体公开了以下技术方案:包括下述步骤:A.初步估算三个测量参数:受测网络路径的环回时延RTT,带宽测量精度范围BIN和一个比真实值偏小的瓶颈带宽左界值;B.发送端发送多组不同包长的测量数据包对,接收端收到测量数据包对后,记录存储测量数据,并发送确认应答;C.接收端分别按不同包长和不同序号把测量数据分组,两两交织进行矩形呈现处理,获得多幅测量样值矩形分布图,然后根据所有分布图中峰的位置分布情况,利用挑峰和滤峰操作找出相对固定的成峰位置,得出瓶颈带宽测量结果值。该专利与现有技术相比,该方法能比较准确地测出路径带宽,但由于找出相对固定的成峰位置采样需要仍然必须保留所有的采样,才能够得到最终的路径带宽值,从而仍然需要占用大量的CPU和内存资源。
发明内容
为解决上述技术问题,本发明提出了一种基于稳定采样序列的网络路径带宽测量方法,与现有的各种测量方法、工具相比,本发明采用稳定序列过滤方法,滤除了大量不稳定的测量采样序列,使剩余的采样具有较高的稳定程度,测量结果能够更加准确地反应网络的真实带宽;同时,本发明滤除了大量不稳定的测量采样序列,只需保留最近的几个采样序列就可以判断下一采样是否是稳定采样,与传统的必须保留所有采样才能够得到最终结果的估计方法相比,大大节省了CPU和内存资源。
本发明采用的技术方案是这样实现的:一种基于稳定采样序列的网络路径带宽测量方法,其步骤如下:
A、选择两台主机,一台为主机A,一台为主机B;
B、选择测量点,在主机A和主机B之间的网络路径上选择一测量点C;
C、传送测量数据包对,主机A向主机B发送请求数据包,主机B发送回应并向A发送数据;
D、数据分析,在测量点C处抓取从主机A到达测量点C的数据流分组,把两个连续的数据包称为一个包对,包括DATA1和DATA2两个数据包,其中DATA1到达测量点C的时间为T0,DATA2到达测量点C的时间为T1,T0和T1之间的间隔ΔT=T1-T0,定义DATA1的长度为L,则主机B与C之间的路径带宽为HPBb=L/ΔT;在测量点C处抓取从主机A到达测量点C的数据包,同样把两个连续的数据包称为一个包对,也包括DATA1和DATA2两个数据包,其中DATA1到达测量点C的时间为T0,DATA2到达测量点C的时间为T1,T0和T1之间的间隔ΔT=T1-T0,定义DATA1的长度为L,则主机A与C之间的路径带宽为HPBa=L/ΔT;
E、滤除不稳定采样,将步骤D中获得的n个采样HPBa作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=|HPBai-HPBai-1|/(HPBai+HPBai-1),定义d的绝对值小于0.2,表示所述两个相邻采样差异不大,那么这两个相邻采样被认为是稳定的采样,被保留,如果所得结果d的绝对值大于或等于0.2,则表示这两个相邻采样为不稳定的采样,被滤除,n个采样被滤除后剩下m个稳定采样,将这m个稳定采样取平均值,获得HPBa的相对精确测量值;同理,将步骤D中获得的n个采样HPBb作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=|HPBbi-HPBbi-1|/(HPBbi+HPBbi-1),定义d的绝对值小于0.2,表示所述两个相邻采样差异不大,那么这两个相邻采样被认为是稳定的采样,被保留,如果所得结果d的绝对值大于或等于0.2,则表示这两个相邻采样为不稳定的采样,被滤除,n个采样被滤除后剩下m个稳定采样,将这m个稳定采样取平均值,获得HPBb的相对精确测量值;
F、获得最终相对精确测量值,取步骤E所得的相对精确测量值HPBa和HPBb之间的最小值,则获得主机A和主机B之间的实际路径带宽。
所述的数据流为根据TCP协议类型传输的TCP数据流,或包括TCP数据流和以其他协议类型传输的其他数据流。
本发明的优点在于:
1、与现有的各种测量方法、工具相比,本发明采用稳定序列过滤方法,滤除了大量不稳定的测量采样序列,使剩余的采样具有较高的稳定程度,测量结果能够更加准确地反应网络的真实带宽。
2、由于本发明稳定采样序列的分析方法不需要保留所有的测量采样,只需要保留最近的几个采样就可以判断下一采样是否是稳定采样,而传统的统计方法、核心密度估计方法必须保留所有采样,才能够从中计算出密度最高的采样值,因此,与传统方法相比,本方法在大规模网络环境下,可以节省大量的CPU和内存资源。
附图说明
图1为在主机A和主机B之间设置测量点C并数据分析的位置结构示意图
图2为网络中多种类型流量存在时测得的不同的ΔT示意图
图3为未经过过滤的采样序列图
图4为未过滤序列对应的带宽分布图
图5为滤除不稳定采样序列后的采样序列图
图6为过滤后序列对应的带宽分布图
具体实施方式
实施例1
在实验中我们发现:在网络拥塞的情况下,密度最大的采样往往不能代表真实的路径带宽,而相对稳定的采样序列才是真实有效的。因此,应当将一段时间内的采样结果作为序列进行研究,取出稳定性较高的序列作为有效序列,并且在最终测量结果中占有较高的权重。
本方案的目标是测量互联网中两台主机之间的路径带宽,采用如下方法:
A、选择两台主机,一台称为主机A,一台称为主机B;
B、选择测量点,测量点C位于主机A和主机B之间,则只要估算出A到C之间的路径带宽就可知道A与B之间的带宽。
C、在测量点C抓取从主机A通往主机B的网络流量。A和B之间的通信包括很多内容,由于目前网络上应用最多的是TCP协议,因此只选择TCP数据流作为观测对象,将TCP数据流看作从主机A到主机B路径上的所有流量,在C点抓取从主机A到达测量点的每个TCP分组,通过对TCP分组进行分析操作来得到路径的带宽。如图1,主机A向主机B发送请求数据包,主机B发送回应并向A发送数据,在测量点C将路径上的所有数据包抓获,通过对这些数据包的分析,来计算主机A到主机B路径上的带宽。
D、网络上的TCP报文都是连续发送的,并且往往单向发送尽量多的报文,然后等待对方的确认,因此网络上经常出现顺序连续的TCP分组,把两个连续的TCP分组称为一个包对(Packet Pair),如图1所示的DATA1与DATA2,DATA1分组到达测量点C的时间为T0,DATA2分组到达测量点C的时间为T1,二者间隔ΔT=T1-T0,如果DATA1分组的长度为L,则B与C点之间的路径带宽可以表示为HPBb=L/ΔT,当A与B之间的路径不存在其他类型流量的情况下,HPBb就是B与C之间的路径带宽。同理可以获得A与C之间的路径带宽HPBa,即在测量点C处抓取从主机A到达测量点C的数据流分组,把两个连续的数据流称为一个包对,包对DATA1到达测量点C的时间为T0,包对DATA2到达测量点C的时间为T1,T0和T1之间的间隔ΔT=T1-T0,定义DATA1的长度为L,则主机A与C之间的路径带宽为HPBa=L/ΔT;取HPBa和HPBb中间的最小值,就可以获得A点和B点之间的路径带宽PB。
E、当然,前面讲的是较理想的情况,在现实网络中,往往不可能没有其他类型流量的存在,因此针对不同包对测得的ΔT值都会不一样。如图2所示。
由此带来的结果是:HPBa的多个采样值(HPBa1…n)存在不同程度的差异,同样HPBb的多个采样值(HPBa1…n)之间也存在差异。
为了从不同采样中找出最能够反应网络真实带宽的采样值,本方案采用“稳定采样序列”方法来筛除不稳定的采样。
具体方法为:将n个采样(HPBa1…n)作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=(HPBai-HPBai-1)/(HPBai+HPBai-1),如果d的绝对值小于某个阈值(0.2),表示这两个相邻的采样差异不大,那么这两个采样被认为是稳定的采样,被保留,否则会被筛除。经过一轮筛选之后,n个采样只剩下m个稳定采样(m<=n),将这m个采样(HPBa1…m)取平均值,可获得HPBa的相对精确估计。
例如,某采样序列(HPBa1…4)的值依次为(67Mbps,32Mbps,88Mbps,81Mbps),采用“稳定采样序列方法”进行过滤时,计算HPBa1和HPBa2之间的偏差比为d=|67-32|/(67+32)=0.35>0.2,说明前两个采样测得的结果是不稳定的,应当被筛除;而计算HPBa3和HPBa4之间的偏差比为d=|81-88|/(81+88)=0.04<0.2,说明这两个相邻采样的结果较为稳定,应当被保留。由此,经过本方法过滤之后的采样序列为(88Mbps,81Mbps)。
同理可获得HPBb的精确估计,即将步骤D中获得的n个采样HPBb作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=(HPBbi-HPBbi-1)/(HPBbi+HPBbi-1),定义d的绝对值小于0.2,表示所述两个相邻采样差异不大,那么这两个相邻采样被认为是稳定的采样,被保留,如果所得结果d的绝对值大于或等于0.2,则表示这两个相邻采样为不稳定的采样,被滤除,n个采样被滤除后剩下m个稳定采样,将这m个稳定采样取平均值,获得HPBb的相对精确测量值。
F、取HPBa和HPBb的最小值,可获得A和B之间的实际路径带宽。
实施例2
实验验证:
已知A、B两点之间的路径带宽为100Mbps(该网络路径已经承载了大量网络流量,已经高度拥塞),在AB之间部署测量点C,显然,主机A到测量点C之间的路径带宽HPBa也是100Mbps。
在测量点C监视A发送给B的TCP数据流(可以通过FTP文件传输等方式产生该数据流),其中,可以观测到多个连续的TCP包对(PacketPair),根据每个包对,可以计算出一个HPBa路径带宽HPBa=L/ΔT,其中L为TCP包对中第一个数据包的长度,ΔT为包对中两个包到达C点的时间间隔。经过以上计算,产生了一个测量采样。
在测量过程中,一共获得520个采样(HPBa1…HPBa520)。如下表:
采样序号 采样值(单位:Mbps)
1 0.15290288
2 79.02702703
3 0.094209377
4 36.6645768
5 92.09448819
6 0.274773293
7 24.57142857
8 0.299023368
9 54.65420561
10 0.162370025
11 0.091637743
12 0.091204704
13 87.93984962
14 92.82539683
15 248.8510638
16 0.075333157
17 0.163961084
18 0.156518481
19 39.51351351
20 68.80000000
21 63.91256831
22 87.28358209
23 0.171563522
… ……
采样序列分布如图3。
可见,大量的采样位于0-10Mbps之间,如果采用传统统计方法或核心密度方法,统计得到的HPBa带宽仅为10Mbps,与实际值相差很远。
采用本方案的稳定序列过滤方法,过滤掉大量不稳定的采样,最终保留的稳定采样数量110个,如图5。
对以上采样取平均值,得到HPBa=97Mbps,能够比较精确地反应A到C的真实路径带宽。可见,本方案测量精确度明显优于传统方法。
Claims (2)
1.一种基于稳定采样序列的网络路径带宽测量方法,其特征在于步骤如下:
A、选择两台主机,一台为主机A,一台为主机B;
B、选择测量点,在主机A和主机B之间的网络路径上选择一测量点C;
C、传送测量数据包对,主机A向主机B发送请求数据包,主机B发送回应并向A发送数据;
D、数据分析,在测量点C处抓取从主机A到达测量点C的数据流分组,把两个连续的数据包称为一个包对,包括DATA1和DATA2两个数据包,其中DATA1到达测量点C的时间为T0,DATA2到达测量点C的时间为T1,T0和T1之间的间隔ΔT=T1-T0,定义DATA1的长度为L,则主机B与C之间的路径带宽为HPBb=L/ΔT;在测量点C处抓取从主机A到达测量点C的数据包,同样把两个连续的数据包称为一个包对,也包括DATA1和DATA2两个数据包,其中DATA1到达测量点C的时间为T0,DATA2到达测量点C的时间为T1,T0和T1之间的间隔ΔT=T1-T0,定义DATA1的长度为L,则主机A与C之间的路径带宽为HPBa=L/ΔT;
E、滤除不稳定采样,将步骤D中获得的n个采样HPBa作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=|HPBai-HPBai-1|/(HPBai+HPBai-1),定义d的绝对值小于0.2,表示所述两个相邻采样差异不大,那么这两个相邻采样被认为是稳定的采样,被保留,如果所得结果d的绝对值大于或等于0.2,则表示这两个相邻采样为不稳定的采样,被滤除,n个采样被滤除后剩下m个稳定采样,将这m个稳定采样取平均值,获得HPBa的相对精确测量值;同理,将步骤D中获得的n个采样HPBb作为一个采样序列,比较任意两个相邻采样之间的偏差比例d=|HPBbi-HPBbi-1|/(HPBbi+HPBbi-1),定义d的绝对值小于0.2,表示所述两个相邻采样差异不大,那么这两个相邻采样被认为是稳定的采样,被保留,如果所得结果d的绝对值大于或等于0.2,则表示这两个相邻采样为不稳定的采样,被滤除,n个采样被滤除后剩下m个稳定采样,将这m个稳定采样取平均值,获得HPBb的相对精确测量值;
F、获得最终相对精确测量值,取步骤E所得的相对精确测量值HPBa和HPBb之间的最小值,则获得主机A和主机B之间的实际路径带宽。
2.根据权利要求1所述的基于稳定采样序列的网络路径带宽测量方法,其特征在于:所述的数据流为根据TCP协议类型传输的TCP数据流,或包括TCP数据流和以其他协议类型传输的其他数据流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100497917A CN100566265C (zh) | 2007-08-20 | 2007-08-20 | 基于稳定采样序列的网络路径带宽测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100497917A CN100566265C (zh) | 2007-08-20 | 2007-08-20 | 基于稳定采样序列的网络路径带宽测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101110714A true CN101110714A (zh) | 2008-01-23 |
CN100566265C CN100566265C (zh) | 2009-12-02 |
Family
ID=39042619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007100497917A Expired - Fee Related CN100566265C (zh) | 2007-08-20 | 2007-08-20 | 基于稳定采样序列的网络路径带宽测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100566265C (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599965B (zh) * | 2009-07-02 | 2012-01-25 | 电子科技大学 | 基于测量的自适应高速信息传输方法 |
CN102449957A (zh) * | 2011-07-25 | 2012-05-09 | 华为技术有限公司 | Ip网络故障定位方法、装置及系统 |
CN103269295A (zh) * | 2013-05-02 | 2013-08-28 | 华平信息技术股份有限公司 | 基于包对的路径容量的测量方法 |
CN104539486A (zh) * | 2015-01-15 | 2015-04-22 | 厦门大学 | 一种基于tcp确认包对的端到端可用带宽估计方法 |
CN104618195A (zh) * | 2015-02-16 | 2015-05-13 | 腾讯科技(深圳)有限公司 | 带宽估测方法和装置 |
-
2007
- 2007-08-20 CN CNB2007100497917A patent/CN100566265C/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599965B (zh) * | 2009-07-02 | 2012-01-25 | 电子科技大学 | 基于测量的自适应高速信息传输方法 |
CN102449957A (zh) * | 2011-07-25 | 2012-05-09 | 华为技术有限公司 | Ip网络故障定位方法、装置及系统 |
CN103269295A (zh) * | 2013-05-02 | 2013-08-28 | 华平信息技术股份有限公司 | 基于包对的路径容量的测量方法 |
CN103269295B (zh) * | 2013-05-02 | 2016-08-24 | 华平信息技术股份有限公司 | 基于包对的路径容量的测量方法 |
CN104539486A (zh) * | 2015-01-15 | 2015-04-22 | 厦门大学 | 一种基于tcp确认包对的端到端可用带宽估计方法 |
CN104618195A (zh) * | 2015-02-16 | 2015-05-13 | 腾讯科技(深圳)有限公司 | 带宽估测方法和装置 |
CN104618195B (zh) * | 2015-02-16 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 带宽估测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN100566265C (zh) | 2009-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7558202B2 (en) | Estimating available bandwidth with multiple overloading streams | |
Jain et al. | Ten fallacies and pitfalls on end-to-end available bandwidth estimation | |
CN106850337B (zh) | 一种网络质量检测方法及装置 | |
CN100442730C (zh) | 基于逐跳时间戳标签的网络链路带宽的测量方法 | |
US8503320B2 (en) | Available bandwidth estimation in a packet-switched communication network | |
CN101272290B (zh) | Ip网络中路径拥塞状态的测量方法和测量装置 | |
CN101313521B (zh) | 使用滤波和主动探测来评估数据传输路径 | |
US20020116154A1 (en) | Network Tomography Using Close-Spaced Unicast Packets | |
US7782796B2 (en) | Method for generating an annotated network topology | |
CN100566265C (zh) | 基于稳定采样序列的网络路径带宽测量方法 | |
CN102223260A (zh) | 测试iptv视频数据流传输质量的方法、系统及装置 | |
CN103326901B (zh) | 一种电力系统宽带网络性能测试方法及系统 | |
CN105245399A (zh) | 一种端到端网络通信路径中瓶颈链路的度量方法 | |
JP2008283621A (ja) | ネットワーク輻輳状況監視装置、ネットワーク輻輳状況監視方法及びプログラム | |
CN106302017A (zh) | 高并发小流量网络测速系统及方法 | |
CN100364283C (zh) | 计算机网络本地服务质量状态的实时测量方法 | |
Curtis et al. | Review of bandwidth estimation techniques | |
CN107820227A (zh) | 一种车路无线通信网络服务质量参数测试装置 | |
CN105357071A (zh) | 一种网络复杂流量识别方法及识别系统 | |
CN101385292B (zh) | 质量恶化部分估计装置、方法及程序 | |
CN106789429B (zh) | 一种自适应低代价sdn网络链路利用率测量方法及系统 | |
JP2011124750A (ja) | フロー通信品質推定方法と装置およびプログラム | |
JP2009077205A (ja) | ネットワーク解析システム | |
CN108540323B (zh) | 基于最小加反卷积预测路由器处理速率的方法 | |
CN111901251A (zh) | 一种网络数据延迟控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091202 Termination date: 20160820 |
|
CF01 | Termination of patent right due to non-payment of annual fee |