CN1312881C - 实时监测流数据突变的方法 - Google Patents

实时监测流数据突变的方法 Download PDF

Info

Publication number
CN1312881C
CN1312881C CNB2004100662380A CN200410066238A CN1312881C CN 1312881 C CN1312881 C CN 1312881C CN B2004100662380 A CNB2004100662380 A CN B2004100662380A CN 200410066238 A CN200410066238 A CN 200410066238A CN 1312881 C CN1312881 C CN 1312881C
Authority
CN
China
Prior art keywords
windowsize
rth
value
mrow
temp2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100662380A
Other languages
English (en)
Other versions
CN1588893A (zh
Inventor
秦首科
周傲英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CNB2004100662380A priority Critical patent/CN1312881C/zh
Publication of CN1588893A publication Critical patent/CN1588893A/zh
Application granted granted Critical
Publication of CN1312881C publication Critical patent/CN1312881C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Complex Calculations (AREA)

Abstract

本发明为一种实时监测数据突变的方法。该方法首先对现有监测方法关于数据突变的定义进行了扩充,提出了动态地监测突变的定义;其次,引入了倒置桶序列的直方图算法(BOIH),利用很小的空间精确地压缩采样数据流x1,x2…xn;当把xn添加到直方图后,采用错误阳性和错误阴性的流数据监测算法检测突变情况。本发明方法能够实现自适应地监测数据突变,而且能同时监测任意多个不同时间长度窗口内的突变,并可排除数据颠簸对监测结果的影响,为提高软件系统的执行效率,兼容性和可靠性提供了保障。

Description

实时监测流数据突变的方法
技术领域
本发明涉及一种流数据管理中的技术,更确切地说是涉及一种实时监测流数据突变(Burst)的方法,主要适用于对网络数据流量的监测以及网站访问量的监测,以及时发现并解决网络拥塞和网络攻击等网络中存在的故障以及安全等问题。
背景技术
区别于传统数据应用模型,流数据(Data Stream)模型具有以下四点共性:(1)数据实时到达;(2)数据到达次序独立,不受应用系统所控制;(3)数据规模宏大且不能预知其最大值,例如一个公司一百年以来的股票交易信息以及流过主干网路由器上的数据等等;(4)数据一经处理,除非特意保存,否则不能够被再次取出处理,或者再次提取数据代价昂贵。监测数据的突变主要是指在数据监测的过程中捕捉一段时间内数据异常变化的行为,并进行报警,再由相应的人员或软件根据该异常信息进行对系统的维护或其他的处理。监测数据突变的技术几乎是所有数据采集、数据分析以及数据管理软件系统中的重要组成部分,其应用相当广泛。监测数据突变的方法决定了软件系统发现问题,解决问题的能力。在先技术中存在一种先进的监测数据突变的实现方案:申请号为02107602.8,名为“用于突发容许过度误码率报警检测和清除的方法和设备”的发明专利。然而,该发明在监测突变方面存在以下不足:
1、只能使用绝对门限值静态地监测数据突变,无法动态地监测突变,因此,其发现的突变种类单一。
2、只能发现一个已定义长度时间窗口内的突变,因此,其无法及时或完全地发现当前数据的所有突变。
3、所能处理的数据量有限,即最大的时间窗口长度有限,无法处理流数据。
4、只能发现监测对象计数(Count)上的突变,而不能发现监测对象其它性质上的突变,例如平均值(Mean)的突变。
5、其突变监测方法中未提供任何抵御颠簸的方法,因而,所发现的突变并不能保证它们完全正确。
发明内容
本发明的目的在于提出一种能够动态地监测任意长度窗口的流数据突变的方法,并且该方法能够排除数据颠簸带来的干扰,以保证软件系统的执行效率、兼容性和可靠性。
本发明的技术解决方案:
首先,本发明对现有监测方法关于数据突变的定义进行了扩充,提出了动态地监测突变的定义。设要监测的采样数据流为序列x1,..,xn,其中任意一个值xi是第i时刻的采样值,i为时间戳,时间戳越大表明该采样值越新,x1为最早的采样值,xn为最新的采样值,n的大小不受限制,也就是该序列的长度不受限制,设相对监测门限为RTH,当RTH大于1时,即当前序列的聚集计算结果比前一个相邻的相同长度序列的聚集计算结果显著增大时,为正向突变。当RTH小于1时,即当前序列的聚集计算结果比前一个相邻的相同长度序列的聚集计算结果显著减小时,为反向突变。设要监测的序列的最大长度为j(1≤j≤n/2),并且进行的聚集计算函数是Sum。那么定义:
Σ x k k = n - j + l k = n Σ x k k = n - 2 j + l k = n - j ≥ RTH ( RTH > 1 ) 时,当前监测的长度为j的序列发生正向突变,
&Sigma; x k k = n - j + l k = n &Sigma; x k k = n - 2 j + l k = n - j &le; RTH ( 0 < RTH < 1 ) 时,当前监测的长度为j的序列发生反向突变。
动态监测突变与静态监测突变最大的区别是:1.用相对监测门限(RTH)代替一经设置后固定不变的绝对监测门限;2.可同时监测数目不受限制的若干个不同长度的序列;3.能够分别或同时监测正向和反向突变。
其次,本发明引入了直方图(Histogram)技术,并且提供了一种新的直方图算法——倒置桶序列的直方图算法(BOIH),它能够利用很小的空间精确地压缩采样数据流x1,..,xn。用这种近似算法估计流数据的聚集,计算结果的精确度可以高达99.99%以上。该算法用到的基本数据结构叫做桶(Bucket)。算法构建的直方图就是一个桶的序列。每一个桶(b1)都是一个长度为20字节的结构体变量,用于存放采集到的单位时间内某个IP地址上的数据流量或单位时间内某个网站接收到的访问量,每一个桶中所保存的采样值的个数不受限制。其中,第1到第4个字节保存的是该桶中最小的采样值(bi a)。第5到第8个字节保存的是该桶中两个相邻采样值之间差的最小值(MinD)。第9到第12个字节保存的是桶的宽度(Wid),也就是保存在该桶中的采样值的个数。第13到第16个字节保存的是该桶中两个相邻采样值之间差的最大值(MaxD)。第17到第20个字节保存的是该桶中最大的采样值(b1 b)。每新来一个采样值xn就运行一次该算法。设进行的聚集计算函数是Sum,具体算法如下:
(1)当得到一个新的采样值xn,将当前桶的总数B加1,并将B的值赋给j;
(2)新建一个桶,并将新来的采样值xn放入其中;
(3)从i=B-1到i=1降序地,做如下操作:
(a)对桶bi将bi a和bi b分别增加xn
(b)判断bi b是否大于(1+δ)bj a。如果bi b大于(1+δ)bj a,那么j--,然后跳至第3步执行;否则,将bi b的值赋给bj b,再将bi的Wid添加到bj的Wid上,假如bi的MaxD大于bj的MaxD,就用bi的MaxD替换bj的MaxD,假如bi的MinD小于bj的MinD,就用bi的MinD替换bj的MinD,最后删除bi,并将当前桶的总数B减1,然后跳至第3步执行。
按照以上算法构建的直方图中的每一个桶都具有相同的相对误差上限,即δ。因为误差的存在,所以不能保证返回值就是真实值,但可以保证所返回的值是比真实值稍大或稍小的值,它们与真实值之间的误差受到δ的影响。该数据结构提供两个对外接口,一个是BOIH.getLargerValue(windowSize),该函数能够返回一个比长度为windowSize的序列的聚集计算结果稍大的值。另一个是BOIH.getSmallerValue(windowSize),该函数返回一个比长度为windowSize的序列的聚集计算结果稍小的值。
再次,本发明分别提供了错误阳性(False Positive)和错误阴性(False Negative)流数据监测算法,分别保证100%的突变查全率(Recall)和100%的突变查准率(Precision),它们能够满足不同应用的需求。即按前述步骤完成把xn添加到直方图后,采用错误阳性和错误阴性的流数据监测算法检测突变情况。
先介绍False Positive算法,具体算法如下:
(1)将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1;
(2)从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行如下操作:
(a)假如要监测正向突变,则将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getSmallerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≥(1+RTH)(temp2-temp1),RTH>1,那么长度为windowSize的序列发生正向突变,将burstNum加1,否则,如果burstNum为0则跳至第2步执行;
(b)假如要监测反向突变,则将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≤(1+RTH)(temp2-temp1),0<RTH<1,那么长度为windowSize的序列发生反向突变,将burstNum减1,否则跳至第2步执行;
(3)将突变计数器burstNum的值返回。
只需对False Positive算法稍加修改就能够得到False Negative算法,具体做法是将FalsePositive算法第2步a)中对temp1的赋值改为BOIH.getSmallerValue(windowSize),对temp2赋值改为BOIH.getLargerValue(2*windowSize)。再将b)中对temp1的赋值改为BOIH.getLargerValue(windowSize),对temp2赋值改为BOIH.getSmallerValue(2*windowSize)即可。其算法如下:
(1)将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1;
(2)从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行如下操作:
(a)假如要监测正向突变,则将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≥(1+RTH)(temp2-temp1),RTH>1,那么长度为windowSize的序列发生正向突变,将burstNum加1,否则,如果burstNum为0则跳至第2步执行;
(b)假如要监测反向突变,则将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getSmallerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≤(1+RTH)(temp2-temp1),0<RTH<1,那么长度为windowSize的序列发生反向突变,将burstNum减1,否则跳至第2步执行;
(3)将突变计数器burstNum的值返回。
现有方法在较大窗口上检测到的突变往往在较小的窗口上并不是突变,这是由多个连续的颠簸所导致的,颠簸是相对正常数据较为突出,但又没有达到突变程度的数据。本发明考虑到了数据颠簸给突变监测带来的影响,提供了排除颠簸干扰的机制,并分别将其集成到上面两个流数据监测算法中,具体做法如False Positive算法第2步a)和b)中,在从小到大顺序检测不同长度的序列时,如果遇到一个长度为windowSize的序列没有发生突变,那么将不再继续检测长度为windowSize+1及更长的序列。
在我们的方法架构中,数据结构的维护以及算法的执行不需要考虑终端用户的行为,因此系统可以最大限度地进行执行效率的优化;我们的方法架构对数据的特性没有任何要求,能够处理任何分布的数据,因此提高了软件系统的兼容性;压缩的数据结构所占的空间与数据量的大小是次线性的关系,因此当面临庞大的数据时,数据结构的空间开销依然很小,这为软件系统的可靠性提供了保障。
本发明的优点和技术上的进步:
1、能够自适应地监测数据突变。
2、能够同时监测任意多个不同时间长度窗口内的突变。
3、能够处理流数据这样庞大的数据量,其最大时间窗口长度没有限制。
4、能够监测对象的聚集(Aggregation)计算结果上的突变,因此,可以发现对象的突变种类,包括计数(Count)、平均值(Mean)、求和(Sum)、中值(Median)、最大值(Max)、最小值(Min)等。
5、能够在监测突变的同时,排除数据颠簸对监测结果的影响。
6、为软件系统的执行效率、兼容性和可靠性提供了保障。
附图说明
图1现有直方图算法构建的桶序列示意图。
图2本发明提供的直方图算法构建的桶序列示意图。
图3本发明提供的桶的结构组成示意图。
图4本发明提供的直方图算法流程图。
图5本发明提供的突变检测算法流程图。
图6本发明提供的实时监测流数据突变方法的模型结构示意图。
图7数据颠簸示意图。
图8本发明提供的实时监测流数据突变方法的性能测试图。
具体实施方式
本发明的方法采用以下的用户可配置参数变量:相对监测门限(RTH),每一个桶的最大相对误差上限(δ)。当RTH大于1时,监测具有上升趋势的正向突变,当RTH小于1时,监测具有下降趋势的反向突变,也可设置两个RTH以同时监测这两种突变。可监测的采样序列长度变化连续,其数量的上限不受限制,即监测时基不受限制。可以同时监测从最小采样时间到信号总的持续时间范围内所有长度的时间窗,每个时间窗长度的递增为最小采样时间。
参见图1:图中所示为现有直方图算法构建出的桶序列,沿时间轴10的方向为接近当前时间的方向,可见沿此方向桶的宽度越来越大,最早构建的桶编号为桶1,最新构建的桶编号为桶n,桶I是从桶1到桶n中任意一个桶的编号。
参见图2:图中所示为本发明的直方图算法(BOIH)构建出的桶序列,沿时间轴20的方向为接近当前时间的方向,可见沿此方向桶的宽度越来越小,最早构建的桶编号为桶1,最新构建的桶编号为桶n,桶I是从桶1到桶n中任意一个桶的编号。
参见图3:图中所示为本发明的直方图算法(BOIH)中桶的结构组成,其中,第1到第4个字节保存的是该桶中最小的采样值(bi a)。第5到第8个字节保存的是该桶中两个相邻采样值之间差的最小值(MinD)。第9到第12个字节保存的是桶的宽度(Wid),也就是保存在该桶中的采样值的个数。第13到第16个字节保存的是该桶中两个相邻采样值之间差(MaxD)的最大值。第17到第20个字节保存的是该桶中最大的采样值(bi b)。
参见图7:图中所示为数据颠簸在较大长度的时间窗口上会导致不真实的突变。设要监测的聚集函数是Sum,RTH=1.1。从(a)中可以看到在长度为1的窗口上,x4和x6都是颠簸。从(b)中可以看到在长度为2的窗口上,(x3+x4)=39.5>RTH(x1+x2)=1.1*30,因此颠簸x4到来时导致该长度的窗口发生不真实的突变。从(c)中可以看到当颠簸x6到来时,在长度为3的窗口上会检测到错误的突变。
参见图8:图中(a)所示为本发明提供的实时监测流数据突变方法的监测精度。可以看到δ越小,精度越高。当δ≤0.01时,在各种RTH设置下的监测精度都可以高达99.9%以上。图中(b)所示为本发明提供的实时监测流数据突变方法的空间开销,可以看到δ越大,所需空间越小。图中(c)所示为本发明提供的实时监测流数据突变方法的处理时间。以上性能测试所用的数据集取自http://ita.ee.lbl.gov上的真实数据集(WorldCup98)。算法都采用Microsoft Visual C++6.0实现。测试的硬件环境是一台CPU为2.4GHz,256M内存的DellPC。
以下结合附图说明检测突变的过程。
实施例1.设置RTH为大于1的值,只检测正向突变。设置RTH=1.1,δ=0.01。首先按照图4所示的算法构建直方图。具体步骤如下:当得到一个新的采样值xn,将当前桶的总数B加1,并将B的值赋给j。新建一个桶,并将新来的采样值xn放入其中。从i=B-1到i=1降序地,做如下操作:对桶bi将bi a和bi b分别增加xn。判断bi b是否大于(1+δ)bj a。如果bi b大于(1+δ)bj a,那么j--;否则,将bi b的值赋给bj a,再将bi的Wid添加到bj的Wid上,假如bi的MaxD大于bi的MaxD就用bi的MaxD替换bi的MaxD,假如bi的MinD小于bi的MinD就用bi的MinD替换bi的MinD,最后删除bi,并将当前桶的总数B减1,然后j--。当完成把一个xn添加到直方图中的工作后,接下来按照图5所示的算法检测突变,具体步骤如下:首先将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1。接下来从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行检测,将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getSmallerValue(2*windowSize)的返回值赋给临时变量temp2。如果有temp2≥(1+RTH)(temp2-temp1),那么长度为windowSize的序列发生正向突变,将burstNum加1,否则将突变计数器burstNum的值返回。返回值为正数表示有正向突变。至此,xn到来后的突变检测工作就已经完成了。如果检测到突变则将发生突变的具体窗口大小及发生突变的窗口数目报告给用户,提醒用户有异常行为出现。
实施例2.设置RTH为小于1的值,只检测反向突变。设置RTH=0.5,δ=0.01。如实施例1中,先将新来的值xn添加到直方图中。然后按照图5所示的算法检测突变,具体步骤如下:首先将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1。接下来从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行检测。将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2。如果有temp2≤(1+RTH)(temp2-temp1),那么长度为windowSize的序列发生反向突变,将burstNum减1,否则将突变计数器burstNum的值返回。返回值为负数表示有反向突变。至此,xn到来后的突变检测工作就已经完成了。如果检测到突变则将发生突变的具体窗口大小及发生突变的窗口数目报告给用户,提醒用户有异常行为出现。
实施例3.设置RTH1为小于1的值,RTH2为大于1的值,同时检测正向突变和反向突变。设置RTH1=0.5,RTH2=1.1,δ=0.01。如实施例1中,先将新来的值xn添加到直方图中。然后按照图5所示的算法检测突变,具体步骤如下:首先将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1。接下来从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行以下两步操作:第一步,假如要监测正向突变,则将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getSmallerValue(2*windowSize)的返回值赋给临时变量temp2。如果有temp2≥(1+RTH2)(temp2-temp1),RTH2>1,那么长度为windowSize的序列发生正向突变,将burstNum加1,否则如果burstNum不为0的话将突变计数器burstNum的值返回。第二步,假如要监测反向突变,则将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2。如果有temp2≤(1+RTH1)(temp2-temp1),0<RTH1<1,那么长度为windowSize的序列发生反向突变,将burstNum减1,否则将突变计数器burstNum的值返回。返回值为正数表示有正向突变,返回值为负数表示有反向突变。至此,xn到来后的突变检测工作就已经完成了。如果检测到突变则将发生突变的具体窗口大小及发生突变的窗口数目报告给用户,提醒用户有异常行为出现。

Claims (1)

1、一种实时监测流数据突变的方法,其特征在于具体步骤如下:
(1)设要监测的采样数据流为序列x1,..,xn,其中任意一个值xi是第i时刻的采样值,i为时间戳,x1为最早的采样值,xn为最新的采样值,n的大小不受限制,设相对监测门限为RTH,当RTH大于1时,为正向突变,当RTH小于1时,为反向突变;设要监测的序列的最大长度为j(1≤j≤n/2),并且进行的聚集计算函数是Sum,那么定义:
&Sigma; k = n - j + 1 k = n x k &Sigma; k = n - 2 j + 1 k = n - j x k &GreaterEqual; RTH ( RTH > 1 ) 时,当前监测的长度为j的序列发生正向突变,
<math> <mrow> <mfrac> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mi>n</mi> <mo>-</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mi>n</mi> </mrow> </munderover> <msub> <mi>x</mi> <mi>k</mi> </msub> </mrow> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mi>n</mi> <mo>-</mo> <mn>2</mn> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mi>n</mi> <mo>-</mo> <mi>j</mi> </mrow> </munderover> <msub> <mi>x</mi> <mi>k</mi> </msub> </mrow> </mfrac> <mo>&amp;le;</mo> <mi>RTH</mi> <mrow> <mo>(</mo> <mtext>0&lt;RTH&lt;1</mtext> <mo>)</mo> </mrow> </mrow> </math> 时,当前监测的长度为j的序列发生反向突变;
(2)对于每个新来的采样值xn,采用倒置桶序列的直方图算法,记为BOIH,进行聚集计算,其步骤为:
①当得到一个新的采样值xn,将当前桶的总数B加1,并将B的值赋给j;
②新建一个桶,并将新来的采样值xn放入其中;
③从i=B-1到i=1降序地,做如下操作:
(a)对桶bi将bi a和bi b分别增加xn
(b)判断bi b是否大于(1+δ)bj a,如果bi b大于(1+δ)bj a,那么j--,然后跳至第3步执行;否则,将bi b的值赋给bj b,再将bi的宽度添加到bj的宽度上,假如bi的最大值大于bj的最大值,就用bi的最大值替换bj的最大值,假如bi的最小值小于bj的最小值,就用bi的最小值替换bj的最小值,最后删除bi,并将当前桶的总数B减1,然后跳至第③步执行;
其中,bi为桶,bi a为bi中最小采样值,bi b为bi中最大采样值,最大值为桶中两个相邻采样值之差的最大值,最小值为桶中两个相邻采样值之差的最小值,δ为桶中相对误差上限;
(3)按上述步骤完成把xn添加到直方图后,采用错误阳性和错误阴性的流数据监测算法,检测突变情况;其中,错误阳性流数据监测算法的步骤如下:
①将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1;
②从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行如下操作:
(a)假如要监测正向突变,则将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getSmallerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≥(1+RTH)(temp2-temp1),RTH>1,那么长度为windowSize的序列发生正向突变,将burstNum加1,否则,如果burstNum为0则跳至第②步执行;
(b)假如要监测反向突变,则将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp1,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≤(1+RTH)(temp2-temp1),0<RTH<1,那么长度为windowSize的序列发生反向突变,将burstNum减1,否则跳至第②步执行;
③将突变计数器burstNum的值返回;
错误阴性流数据检测算法的步骤如下:
①将突变计数器burstNum置为0,并将要检测的窗口的长度windowSize置为1;
②从windowSize=1到 windowSize = n 2 升序地,对长度为windowSize的窗口进行如下操作:
(a)假如要监测正向突变,则将BOIH.getSmallerValue(windowSize)的返回值赋给临时变量temp4,将BOIH.getLargerValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≥(1+RTH)(temp2-temp1),RTH>1,那么长度为windowSize的序列发生正向突变,将burstNum加1,否则,如果burstNum为0则跳至第②步执行;
(b)假如要监测反向突变,则将BOIH.getLargerValue(windowSize)的返回值赋给临时变量temp4,将BOIH.getSmallValue(2*windowSize)的返回值赋给临时变量temp2;如果有temp2≤(1+RTH)(temp2-temp1),0<RTH<1,那么长度为windowSize的序列发生反向突变,将burstNum减1,否则跳至第②步执行;
③将突变计数器burstNum的值返回。
CNB2004100662380A 2004-09-09 2004-09-09 实时监测流数据突变的方法 Expired - Fee Related CN1312881C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004100662380A CN1312881C (zh) 2004-09-09 2004-09-09 实时监测流数据突变的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004100662380A CN1312881C (zh) 2004-09-09 2004-09-09 实时监测流数据突变的方法

Publications (2)

Publication Number Publication Date
CN1588893A CN1588893A (zh) 2005-03-02
CN1312881C true CN1312881C (zh) 2007-04-25

Family

ID=34603960

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100662380A Expired - Fee Related CN1312881C (zh) 2004-09-09 2004-09-09 实时监测流数据突变的方法

Country Status (1)

Country Link
CN (1) CN1312881C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7495519B2 (en) * 2007-04-30 2009-02-24 International Business Machines Corporation System and method for monitoring reliability of a digital system
CN101908065B (zh) * 2010-07-27 2012-05-23 浙江大学 一种支持动态更新的在线属性异常点检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002087276A2 (en) * 2001-04-19 2002-10-31 Koninklijke Philips Electronics N.V. Method and device for robust real-time estimation of bottleneck bandwidth
WO2003107562A2 (en) * 2002-06-18 2003-12-24 Reveo, Inc. Burst communications system and method
CN1500244A (zh) * 2001-03-29 2004-05-26 美商传威股份有限公司 用于突发容许过度误码率报警检测和清除的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1500244A (zh) * 2001-03-29 2004-05-26 美商传威股份有限公司 用于突发容许过度误码率报警检测和清除的方法和设备
WO2002087276A2 (en) * 2001-04-19 2002-10-31 Koninklijke Philips Electronics N.V. Method and device for robust real-time estimation of bottleneck bandwidth
WO2003107562A2 (en) * 2002-06-18 2003-12-24 Reveo, Inc. Burst communications system and method

Also Published As

Publication number Publication date
CN1588893A (zh) 2005-03-02

Similar Documents

Publication Publication Date Title
CN103532940B (zh) 网络安全检测方法及装置
CN105429977A (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
CN103647670B (zh) 一种基于sketch的数据中心网络流量分析方法
CN103702360B (zh) 一种确定业务接入端口的数据流速的方法及装置
CN103532776A (zh) 业务流量检测方法及系统
CN103580905B (zh) 一种流量预测方法、系统及流量监测方法、系统
CN101572623A (zh) 基于主客观组合评价的网络性能综合评价方法
CN108881250A (zh) 电力通信网络安全态势预测方法、装置、设备及存储介质
CN107707386A (zh) 基于复合物联网的燃气表故障提示方法及物联网系统
CN104683182A (zh) Idc机房网络服务质量检测方法及装置
CN103312566A (zh) 检测报文端口拥塞的方法及装置
CN109634820A (zh) 一种云端移动端协同的故障预警方法、相关设备及系统
CN107426055A (zh) 异常流量监测方法、装置及计算机可读存储介质
CN102801548A (zh) 一种智能预警的方法、装置及信息系统
CN112686417B (zh) 一种地铁大客流预测方法、系统及电子设备
CN1312881C (zh) 实时监测流数据突变的方法
CN115345416A (zh) 基于天然气用气数据的住房空置率估算
CN116760649B (zh) 基于大数据的数据安全保护及预警方法
CN117061170B (zh) 一种基于特征选择的智能制造工业大数据分析方法
CN106296381A (zh) 一种用区块链来实现交易过程中税收计算的方法
CN109818921A (zh) 一种网站接口非正常流量的分析方法及装置
CN100511241C (zh) 用于周期现象的聚类技术
CN108075909A (zh) 一种流量预测方法和装置
CN106161339B (zh) 获取ip访问关系的方法及装置
CN116186950A (zh) 燃气管网模拟仿真的处理方法、系统、装置和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070425